Cálculos estatísticos em testes A/Bn
Este artigo documenta os cálculos estatísticos detalhados usados em testes A/Bn manuais no Adobe Target. São previstas definições para Índice de conversão, Intervalo de confiança da taxa de conversão, Elevação, Intervalo de confiança para aumento, e Confiança.
Desempenho médio
A seção a seguir explica os cálculos usados na ilustração anterior.
Taxa de conversão e Campanhas de receita por visitante (RPV)
A ilustração a seguir mostra Índice de conversão, Intervalo de confiança da taxa de conversãoe o número de Conversões em um Target relatório. Por exemplo, a primeira linha mostra que para a Experiência A: a variável Índice de conversão é de 25,81% com um Intervalo de confiança de ±7,7% e 32 conversões foram registradas. Considerando que 124 visitantes visualizaram a experiência, isso equivale a 32/124 = 25,81%.
{width="25%"}
A taxa de conversão ou média, μν, para cada experiência ν em um experimento é definida como uma relação da soma da métrica com o número de unidades atribuídas a essa métrica, Nν:
{width="125px"}
Aqui,
-
YixvName é o valor da métrica para cada unidade i, que foi atribuído a uma determinada experiência ν.
-
A soma sobre unidades i depende da escolha da metodologia de contagem.
- Se Visitantes for usada como a metodologia de contagem, cada unidade será um visitante único definido como um participante único na atividade durante toda a vida útil da atividade.
- Se Visitas for usada como a metodologia de contagem, cada unidade será uma visita única definida como um participante único em uma experiência durante um Target sessão (com um único
sessionId
). Quando a variávelsessionId
for alterada ou o visitante atingir a etapa de conversão, uma nova visita será contada. - Se Impressões da atividade é usada como a metodologia de contagem, cada unidade é uma impressão exclusiva definida como cada vez que um visitante carrega qualquer página da atividade.
Intervalo de confiança da média/Índice de conversão
O intervalo de confiança da taxa de conversão é intuitivamente definido como um intervalo de taxas de conversão possíveis consistente com os dados subjacentes.
Ao executar experimentos, o índice de conversão de uma determinada experiência é um estimativa da taxa de conversão "true". Para quantificar a incerteza nesta estimativa, Target usa um intervalo de confiança. Target sempre relata um intervalo de confiança de 95%, o que significa que, no final, 95% dos intervalos de confiança calculados incluem o índice de conversão verdadeiro da experiência.
Um intervalo de confiança de 95% da taxa de conversão μν é definido como o intervalo de valores:
{width="30%"}
Quando o erro-padrão da média é definido como
{width="75px"}
Se for utilizada uma estimativa imparcial do desvio-padrão da amostra:
{width="200px"}
Quando a campanha é uma campanha de taxa de conversão (ou seja, a métrica de conversão é binária), o erro padrão se reduz a:
{width="150px"}
Aumento
A ilustração a seguir mostra Elevação e Intervalo de confiança do aumento em um Target Relatório. O número representa a média do intervalo dos limites de aumento, e a seta reflete se o aumento é positivo ou negativo. A seta é exibida em cinza até que a confiança passe de 95%. Depois que a confiança ultrapassa o limite, a seta é verde ou vermelha com base em um aumento positivo ou negativo.
{width="35%"}
O aumento entre uma experiência ν e a experiência de controle ν0 é o "delta" relativo em taxas de conversão, definido como
{width="15%"}
Em que as taxas de conversão individuais são as definidas acima. De maneira mais simples,
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Se o índice de conversão da experiência de controle ν0 é 0, não há aumento.
Confidence Interval of Lift
O gráfico de boxplot no Intervalo médio de elevação e confiança representa o valor médio e 95% Intervalo de confiança do aumento. O boxplot é cinza quando há qualquer sobreposição no intervalo de confiança de uma determinada experiência de não controle com o intervalo de confiança da experiência de controle. O boxplot é verde ou vermelho quando o intervalo de confiança da experiência é acima ou abaixo do intervalo de confiança da experiência de controle.
O erro padrão do aumento entre uma experiência ν e a experiência de controle ν0 é definida como:
{width="35%"}
Em seguida, o Intervalo de confiança de 95% do aumento é:
{width="40%"}
Esse cálculo usa o método "Delta" e é descrito mais detalhes neste documento
Confiança
A última coluna mostra a confiança em um Target relatório. A confiança de uma experiência é uma probabilidade (denotada como uma porcentagem) de obter um resultado tão extremo quanto o observado, dada a hipótese nula ser verdadeira. Em termos de valores p, a confiança exibida é 1 - valor p. Intuitivamente, maior confiança significa que é menos provável que a experiência de controle e não controle tenha taxas de conversão iguais.
Entrada Target, um bicaudal Teste t de Welch é realizada entre a experiência de teste e a experiência de controle para testar se os meios das experiências de teste e controle são os mesmos. Porque geralmente não sabemos se o tamanho e as variações das amostras de dois grupos são os mesmos antes de executar o experimento, e Target Além disso, para que porcentagens desiguais de tráfego sejam enviadas para cada experiência, não pressupomos que a variação de cada experiência seja igual. Assim, o teste t de Welch é escolhido em vez do teste t de Student.
Para executar o teste t de Welch, primeiro começamos a calcular a estatística t e os graus de liberdade, em seguida, executamos um teste t de duas caudas para gerar o valor p. Por fim, calculamos a confiança com base no valor p.
A variável t-a estatística é definida como a diferença entre as médias de quaisquer duas variáveis aleatórias independentes, ν e ν0, dividido pelo erro padrão da diferença:
{width="100px"}
Onde μv e μv0 são os meios de ν e ν0 respectivamente, e o erro-padrão da diferença entre os μv e μv0 são dados por:
{width="150px"}
Onde σ2v e σ2v0 são as variações de duas experiências ν e ν0 respectivamente, e Nv e Nv0 são tamanhos de amostra para ν e ν0 respectivamente.
Para o teste t de Welch, o grau de liberdade é calculado do seguinte modo:
{width="180px"}
E grau de liberdade para ν e ν0 são definidos como:
{width="100px"}
{width="100px"}
Então, o valor p pode ser calculado a partir da área na cauda da variável t-distribuição:
{width="20%"}
Por último, a confiança Target é definida como:
{width="20%"}
Execução de cálculos offline
O download do relatório de CSV inclui apenas dados brutos e não inclui métricas calculadas, como receita por visitante, aumento ou confiança usada para testes A/B.
Para calcular essas quantidades estatísticas, baixe a variável Target Calculadora de confiança completa Arquivo do Excel para inserir o valor da atividade.