Tempo de leitura 5 minutos
Relatório exclusivo da Forrester sobre IA em marketing
Pontos-chave:
Leia o artigo completo em Dominando a otimização de custos do Snowflake em escala.
Se opera um negócio SaaS multitenant e sente que a sua fatura da Snowflake está a crescer mais rapidamente do que os seus insights, esta história é para si.
Na Optimove, sempre acreditámos em capacitar as equipas para agirem de forma rápida, inteligente e independente. Essa é a essência do Positionless Marketing, e não se aplica apenas ao marketing. É assim que operamos como empresa. Então, quando os nossos gastos com o Snowflake começaram a ultrapassar o valor que estávamos a obter, tratámos isso como qualquer outro gargalo. Cortámos a linha.
Esta é a história de como aplicámos o pensamento sem posição à otimização de custos do Snowflake e economizámos milhares no processo.
As plataformas SaaS multitenant apresentam um desafio único. Não existe uma solução única para todos. Cada cliente se comporta de maneira diferente, consome dados de maneira diferente e escala de maneira diferente. Mas o Snowflake não sabe isso automaticamente. Se não estiver atento, acabará pagando preços elevados por processos ineficientes.
O nosso primeiro passo foi obter visibilidade radical. Mergulhámos profundamente nas visualizações do sistema do Snowflake para otimizar os custos do Snowflake — de QUERY_HISTORY a WAREHOUSE_METERING_HISTORY — e começámos a mapear onde o desperdício estava escondido. Abaixo estão os quatro passos que usámos para gastar com o Snowflake e os resultados que vimos.
Só porque pode criar armazéns infinitos, não significa que deva fazê-lo.
Consolidámos processos de baixa eficiência em menos armazéns multicluster de alto desempenho, identificando armazéns subutilizados com menos de 30% de utilização mediana. O resultado foi uma redução de 50% nos créditos de computação para essas cargas de trabalho, sem queda no desempenho.
Anteriormente, utilizávamos uma abordagem de armazém partilhado por processo. Mas nem todos os locatários são iguais. Alguns precisavam de mais computação, enquanto outros utilizavam muito menos.
Criámos uma estratégia de armazém por locatário com base num indicador simples, mas poderoso: o número de utilizadores multiplicado pelo número de atributos. Essa «pontuação do locatário» ajudou-nos a atribuir a cada cliente o nível de armazenamento adequado, seja XS, M ou XXL.
Depois de aplicarmos essa abordagem a um processo, a utilização caiu drasticamente, de 244 créditos por dia para apenas 35, enquanto a confiabilidade melhorou.
Notámos picos recorrentes na procura de recursos causados por atualizações simultâneas de locatários usando Change Data Capture (CDC). Esses picos forçaram a Snowflake a escalar de 0 para 19 clusters quase instantaneamente, apenas para ficar ociosa depois e acumular custos.
A nossa solução foi simples e eficaz. Escalonámos o agendamento. Em vez de todas as tarefas serem executadas ao mesmo tempo, introduzimos desvios de execução aleatórios. O resultado foi uma curva mais suave, redução do desperdício de recursos e uma economia mensal de cerca de 10 a 12 mil dólares.
Se não é possível ver, não é possível corrigir.
Integramos o Snowflake com o Datadog, criamos painéis e alertas para tudo, desde a saturação do cluster até os tempos de fila de consultas. Mas não paramos na monitorização. Adicionamos substituições no nível de configuração, deteção de anomalias e alertas de desvio de armazenamento aos nossos fluxos de trabalho.
O objetivo não era apenas saber o que estava errado. Era facilitar a ação de qualquer equipa sem esperar por um especialista.
Esta iniciativa não era de uma única equipa. Todos contribuíram para ela: SREs, DBAs, engenheiros de dados e programadores. Da mesma forma, Positionless Marketing capacita qualquer profissional de marketing a lançar, otimizar e personalizar sem dependências. A nossa cultura interna permite que os engenheiros passem da percepção à ação imediatamente.
Este não foi um projeto de mudança radical. Foi uma mudança de mentalidade.
Ainda estamos no meio do processo e continuaremos a partilhar mais ferramentas, painéis e aprendizados à medida que avançamos. Mas uma coisa é clara. Os gastos com o Snowflake não devem ser um mistério. E corrigi-los não deve exigir uma sala de guerra.
Se a sua conta do Snowflake está a aumentar e você está preso à espera que outra pessoa tome uma atitude, talvez seja hora de adotar o Positionless e considerar a nossa otimização de custos do Snowflake.
Bem-vindo à era do Positionless Marketing e da Positionless Engineering.
Para obter mais informações sobre como a era sem posição pode transformar a sua engenharia, operações de dados e muito mais, contacte-nos para solicitar uma demonstração.
Relatório exclusivo da Forrester sobre IA em marketing
Neste relatório exclusivo da Forrester, saiba como os profissionais de marketing globais utilizam IA e Positionless Marketing para otimizar fluxos de trabalho e aumentar a relevância.
Dor Harchol é engenheiro de confiabilidade de sites na Optimove, uma empresa de software líder em Positionless Marketing. Dor é especialista em construir infraestruturas resilientes, automatizar operações e garantir alta confiabilidade do sistema em ambientes de nuvem. Com uma sólida experiência em monitorização de produção, ferramentas DevOps e melhorias operacionais baseadas em dados, ele desempenha um papel fundamental na otimização do desempenho de sistemas de missão crítica.
Dor é apaixonado por identificar oportunidades para reduzir custos de nuvem e infraestrutura sem comprometer a escalabilidade ou o desempenho. Ele é bacharel em Engenharia Industrial e Gestão pela Shenkar College.
