Tempo de leitura 12 minutos
Relatório exclusivo da Forrester sobre IA em marketing
Ao analisar os resultados de campanhas de marketing, a significância estatística é uma indicação probabilística de se os resultados observados da campanha teriam ocorrido mesmo na ausência da campanha.
Dito de outra forma, a significância estatística na análise da campanha é o parâmetro que indica se o comportamento dos destinatários da campanha foi o resultado direto de uma campanha específica ou se resultados semelhantes poderiam ter sido observados mesmo que a campanha nunca tivesse sido realizada.
Quando o aumento calculado de uma campanha é determinado como estatisticamente significativo, existe uma forte evidência de que a campanha foi responsável pelo aumento nos gastos (ou qualquer outra métrica de aumento analisada). No entanto, caso o resultado do aumento seja considerado não estatisticamente significativo, o profissional de marketing não deve basear-se nesse resultado para tomar decisões. Em vez disso, o profissional de marketing deve realizar experiências adicionais (por exemplo, fazendo alterações na campanha ou ajustando os grupos de destinatários) com o objetivo de alcançar resultados de uplift satisfatórios e significância estatística.
A maneira mais confiável de medir a eficácia da campanha é dividir o público-alvo da campanha em dois grupos separados e comparar o comportamento resultante de cada um: um grupo de teste (os clientes que realmente recebem a campanha) e um grupo de controlo (clientes semelhantes aos do grupo de teste, mas que não receberam nenhuma campanha durante o período de medição da campanha).
O objetivo é compreender o impacto que a campanha teve em qualquer métrica de aumento específica (como um aumento no valor gasto pelos clientes), analisando as diferenças de comportamento entre o grupo de teste e o grupo de controlo.
No entanto, o cálculo do aumento resultante pode ou não ser um indicador fiável do impacto da campanha em si. Para determinar a probabilidade de o uplift calculado ser, de facto, um resultado direto da campanha, é necessário calcular a significância estatística do resultado.
Existem várias técnicas para medir a eficácia da campanha em termos de uplift e significância estatística. A seguir, apresentamos uma dessas técnicas:
Para cada um dos dois testes, deve ser calculado um valor p, e ambos os valores p devem então ser usados para derivar a significância estatística dos testes (o valor p = 0,05 é usado para indicar significância). Quando uma campanha é considerada estatisticamente significativa, isso implica que os resultados da campanha provavelmente não foram devidos ao acaso. A significância estatística indica que os resultados da análise podem ser interpretados como uma estimativa fiável do efeito «real» que a campanha teve no seu público-alvo.
Para cada um dos testes estatísticos de proporção e T, três fatores determinam se os resultados foram estatisticamente significativos (ou seja, se têm um valor p = 0,05):
Resumindo: quanto maior for o tamanho da amostra e maiores forem as diferenças nos resultados médios entre os grupos de teste e de controlo, maiores serão as chances de os resultados serem considerados estatisticamente significativos. No entanto, à medida que o desvio padrão aumenta, as chances diminuem. Lembre-se: uma grande diferença entre o teste e o controlo com um desvio padrão igualmente grande não significa muito. Uma campanha que atinge uma grande diferença entre o teste e o controlo, juntamente com um desvio padrão relativamente baixo, provavelmente será significativa.
Os profissionais de marketing muitas vezes procuram entender como fazer o melhor uso desses resultados ao medir a eficácia do marketing. Aqui estão as respostas para algumas perguntas que pode ter sobre o tema da significância estatística. Estas respostas ajudarão a esclarecer as implementações práticas dos conceitos estatísticos de marketing discutidos acima.
P: A falta de significância estatística nos resultados da nossa campanha deve-se ao pequeno tamanho dos nossos grupos-alvo? Talvez devêssemos considerar apenas os resultados da análise de uma série de campanhas recorrentes? Ou devemos aumentar o número de clientes em cada campanha individual para tentar torná-las estatisticamente significativas?
Não há uma resposta clara para essa pergunta, principalmente devido ao fato de que existem várias razões possíveis para um resultado não ser significativo. A razão mais provável para os resultados da campanha não serem estatisticamente significativos é porque a campanha em si simplesmente não é eficaz! Se uma campanha não está a motivar os clientes com sucesso, então aumentar o número de destinatários obviamente não aumentará a probabilidade de ver resultados estatisticamente significativos.
A significância estatística é afetada por três fatores principais: o número total de clientes visados (que não coincide necessariamente com a questão irrelevante de há quanto tempo uma campanha recorrente está a ser executada), a diferença nos padrões de resposta entre os grupos de teste e de controlo e o desvio padrão (quão «ruidoso» é o conjunto de dados dos resultados). Não existe um limite específico para cada fator acima do qual uma campanha se torna significativa.
Os resultados de grupos muito pequenos devem ser analisados de forma agregada através da opção de recorrência, a fim de obter maior poder estatístico. No entanto, tenha em mente que acumular mais e mais observações na esperança de obter um resultado estatisticamente significativo pode acabar sendo ineficaz se a campanha em si for ineficaz! Portanto, deve-se concentrar em tentar criar campanhas melhores, não em inflar o tamanho dos grupos na esperança de alcançar significância estatística.
Também vale a pena mencionar que o reverso desse fenômeno ocorre em campanhas com tamanhos de amostra enormes, como com mais de um milhão de clientes. Essas campanhas tendem a ser estatisticamente significativas, mesmo com diferenças de teste-controle muito pouco impressionantes. Nessas situações, com tamanhos de amostra tão grandes, os resultados podem não ser subjetivamente interessantes, embora sejam mais prováveis de serem estatisticamente significativos do que em campanhas menores.
P: Todos os três fatores (tamanho do grupo, diferença na resposta e desvio padrão) têm a mesma importância?
É difícil classificar esses fatores em termos de importância relativa, pois isso depende das condições específicas da campanha. Por exemplo, no caso de um grupo-alvo enorme, digamos, um milhão de clientes, uma pessoa adicional tem influência marginal, enquanto que para um grupo pequeno, uma pessoa a mais pode ser muito importante.
P: Em relação ao tamanho do grupo: notei que, até agora, a única altura em que qualquer uma das campanhas é estatisticamente significativa para uma campanha individual é quando o número de clientes visados é de pelo menos 50. Pode confirmar se é esse o caso?
Não existe um limite específico para o número de destinatários necessários para obter resultados estatisticamente significativos, uma vez que a significância estatística também depende do desvio padrão e do comportamento do cliente.
Por exemplo: digamos que uma campanha não seja bem-sucedida, de modo que ela represente uma diferença "real" na taxa de resposta do teste de controlo de, no máximo, 0,1%. Nesse caso, provavelmente serão necessários muito mais do que 50 clientes para obter resultados estatisticamente significativos, pois o tamanho do grupo precisa compensar o fraco desempenho da campanha.
No entanto, se a campanha funcionar extremamente bem e apresentar uma diferença «real» entre o teste e o controlo de 25%, então 50 clientes provavelmente serão suficientes para obter resultados estatisticamente significativos.
P: Estou interessado em direcionar as minhas campanhas para grupos de clientes menores e mais granulares, mas o tamanho reduzido dos grupos não afetará a minha capacidade de obter resultados estatisticamente significativos para a campanha?
É menos importante buscar significância estatística do que se esforçar para criar campanhas eficazes e focadas! De qualquer forma, você sempre pode analisar uma série combinada de campanhas pequenas e recorrentes para obter resultados para uma amostra maior. Por exemplo, se enviar uma campanha específica para 50 novos clientes todos os dias, deve analisar a série como se fosse uma única campanha. Assim, por exemplo, ao longo de um período de duas semanas, esta «campanha virtual» acumularia mais de 600 clientes, o que provavelmente seria suficiente para gerar resultados fiáveis.
No entanto, mesmo fazendo isso, é possível que ainda não haja clientes suficientes no grupo de controlo para obter resultados significativos. A solução para isso é selecionar uma proporção maior de destinatários como grupo de controlo para algumas execuções da campanha (até 50% em casos extremos) para garantir pelo menos um número mínimo de clientes do grupo de controlo.
A questão aqui não é que a significância estatística não seja importante (ela é extremamente importante), mas que, em geral, deve tentar alcançar a significância estatística por meio de campanhas focadas e eficazes, e não ajustando o número de destinatários da campanha. A significância estatística não é um objetivo em si, mas algo que indica se os resultados da análise da campanha são suficientemente certos para serem confiáveis (pense nisso mais como o mensageiro do que como a mensagem em si).
Um bom caso em que se deve preferir uma campanha não tão granular (com um grande grupo de destinatários) a uma campanha pequena e granular é quando não se tem certeza de como segmentar esse segmento específico de clientes de forma granular. Se não tiver a certeza de como abordar algum segmento de clientes e como dividi-lo em grupos mais granulares, então começar com um grupo relativamente grande e heterogéneo é uma opção sólida. A base de destinatários maior pode permitir um aprendizado mais rápido e, mais importante, é melhor começar com algo do que ficar parado e não fazer nada. No entanto, essa estratégia deve ser sempre considerada como um primeiro passo, tendo em mente que, após um período de aprendizagem, deve subdividir o grupo em subgrupos granulares de uma forma que faça sentido do ponto de vista comercial.
P: Pode explicar «desvio padrão» com mais detalhes?
O desvio padrão é calculado a partir dos dados (assim como a média ou o máximo) e é uma medida da tendência dos pontos de dados observados de não se agruparem ordenadamente, mas sim se espalharem uns dos outros sem um ponto de referência comum (os dados atípicos, por exemplo, aumentam o desvio padrão). O desvio padrão pode ser considerado como um indicador de «ruído» dos dados.
Em comparação com outras métricas de «ruído», ele tem uma vantagem de interpretabilidade: serve como um amortecedor entre o que pode ser considerado puro acaso e resultados potencialmente eficazes. Uma diferença entre o teste e o controlo que não exceda o valor do desvio padrão é realmente algo que poderíamos esperar que acontecesse de qualquer maneira, por mero acaso, como se nenhuma campanha tivesse sido realizada. No entanto, uma campanha estatisticamente significativa será aquela cujos resultados excedam o desvio padrão em uma quantidade não trivial (geralmente pelo menos 1,7 vezes o desvio padrão), ou seja, seus resultados se destacam acima do fator de aleatoriedade natural o suficiente para indicar uma relação de causa e efeito real.
Aqui está um exemplo: digamos que o grupo de teste de uma campanha gastou em média US$ 120 durante o período de medição da campanha, e o grupo de controlo gastou em média US$ 100, resultando numa diferença de US$ 20. Se o desvio padrão calculado fosse US$ 50, o resultado ainda estaria profundamente dentro do âmbito da aleatoriedade natural dos dados (porque US$ 20 < US$ 50), portanto, o teste não seria estatisticamente significativo. No entanto, se o desvio padrão fosse de apenas US$ 5, o nosso resultado teria excedido em muito a variabilidade natural dos dados (US$ 20 é quatro vezes maior que US$ 5). Isso implicaria que a campanha gerou resultados muito melhores do que esperaríamos por mero acaso. Portanto, o resultado é significativo.
Solicite uma demonstração na Web para saber como pode usar o Relationship Marketing Hub da Optimove para medir a eficácia da sua campanha de marketing e aumentar o ROI do seu marketing.
Relatório exclusivo da Forrester sobre IA em marketing
Neste relatório exclusivo da Forrester, saiba como os profissionais de marketing globais utilizam IA e Positionless Marketing para otimizar fluxos de trabalho e aumentar a relevância.
