Show Menu
TÓPICOS×

Interpretar relatórios de Autoalocação

Interprete os resultados de uma atividade A/B de autoalocação examinando indicadores importantes, incluindo incentivo e confiança, na interface do usuário do Target.
Muitos profissionais de marketing cometem o erro de declarar prematuramente uma experiência vencedora antes dos resultados indicarem claramente o vencedor. Agora facilitamos para você determinar o vencedor.

Identifique a experiência vencedora

Ao usar o recurso Alocação automática, o Target exibe um emblema na parte superior da página da atividade, indicando "Ainda não há vencedor" até que a atividade atinja o número mínimo de conversões com confiança suficiente.
Quando um vencedor claro é declarado, o Target exibe "Vencedor: Experiência X".
As atividades de alocação automática são projetadas para encontrar a melhor experiência entre todas as opções e não apenas para fazer comparações emparelhadas com controle.

Statistical guarantees of Auto-Allocate

No final de uma atividade A/B, a Alocação automática garante que o vencedor determinado tenha uma taxa de falso-positivo eficaz de 5%. Isso significa que apenas 5% do tempo, o vencedor determinado não é realmente a melhor experiência entre todas as experiências na atividade. Para um teste A/A (com experiências idênticas), concluímos um teste com menos de 5% do tempo. O comportamento esperado para um teste A/A (com experiências idênticas) é para ser executado indefinidamente e, portanto, o emblema do vencedor nunca deve aparecer.
Não usamos a confiança baseada em valor p para alocação automática.
A coluna Confiança em uma atividade de Alocação automática (ilustrada abaixo) exibe a probabilidade de uma experiência ser a vencedora com margem de erro de 1% (ou seja, o algoritmo usa um efeito mínimo detectável de 1% entre a melhor e a segunda melhor taxa de conversão). Observe que o algoritmo usa Desigualdade de Bernstein para computar esta probabilidade.
Testes A/B normais calculam a confiança com base nos valores de p. A Alocação automática não usa valores p. Os valores de P calculam "vagamente" a probabilidade de que uma determinada experiência seja diferente do controle. Esses valores p podem ser usados apenas para determinar se uma experiência pode ser diferente do controle. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).
A ilustração a seguir mostra uma atividade que ainda não tem vencedor:
A ilustração a seguir mostra uma atividade que tem vencedor:
O Target mostra um vencedor após um número mínimo predefinido de conversões; no entanto, a decisão final de escolher o vencedor deve sempre estar nos resultados da calculadora de tamanho de amostra do Adobe Target. O Target não considera as taxas de conversão básicas de um site e outros aspectos importantes que são inseridos na calculadora para determinar a duração da atividade. Como resultado, o Target pode exibir um vencedor mais cedo do que o esperado com base em um número mínimo de conversões. Para obter mais informações, consulte Calculadora de tamanho de amostra.

Compreender os relatórios de incentivo e confiança nas atividades de autoalocação

Nas atividades de Autoalocação, a primeira experiência (por padrão, denominada Experiência A) é sempre definida como uma experiência de "Controle" na guia Relatórios. Esta experiência não é tratada como um verdadeiro controlo estatístico no modelo utilizado para determinar o desempenho das experiências, mas é tratada como uma referência ou uma linha de base para alguns valores no relatório.
O valor numérico "Lift" e os limites de 95% para cada experiência são sempre calculados com referência à experiência "Control" definida. A experiência "Controle" definida não pode ter incentivo relativo a si mesma, portanto, um valor "—" em branco é reportado para essa experiência. Ao contrário dos testes A/B, nos testes de Autoalocação, se uma experiência tiver um desempenho pior do que o controle definido, não é reportado um valor de Elevação negativo; em vez disso, "—" é exibido.
As barras de Intervalo de confiança exibidas representam o intervalo de confiança de 95% em torno da estimativa média da taxa de conversão de uma experiência. Eles também são codificados por cores em relação à experiência "Controle" definida. A barra da experiência "Controle" sempre fica cinza. As partes dos intervalos de confiança abaixo do intervalo de confiança da experiência de "Controle" são coloridas em vermelho e as partes dos intervalos de confiança acima da experiência de "Controle" são coloridas em verde.
Um vencedor é encontrado quando o Intervalo de confiança de 95% da experiência líder não se sobrepõe a nenhuma outra experiência. A experiência vencedora é designada com um selo de estrela verde à esquerda do nome da experiência e no banner "Vencedor". Quando nenhuma estrela é visível, o banner diz "No Winner AINDA" e um vencedor ainda não foi encontrado.
Um número de "Confiança" também é reportado ao lado da experiência líder ou vencedora atual. Este número é reportado apenas até que a Confiança da experiência líder atinja pelo menos 60%. Se exatamente duas experiências estiverem presentes no experimento de Autoalocação, esse número representa o nível de confiança de que a experiência está tendo um desempenho melhor do que a outra experiência. Se mais de duas experiências estiverem presentes no experimento de Autoalocação, esse número representará o nível de confiança de que a experiência está tendo um desempenho melhor do que a experiência de "Controle" definida. Se a experiência de "Controle" estiver vencendo, nenhum número de "Confiança" será relatado.

Perguntas frequentes

Já passaram alguns dias na atividade. Por que todos os valores de confiança ainda estão mostrando 0%?
Qualquer um dos motivos a seguir descreve por que 0% é exibido na coluna Confiança do relatório para todas as atividades:
  • Testes A/B manuais e Alocação automática usam estatísticas diferentes para exibir valores de confiança.
    Os testes manuais A/B usam valores p baseados no teste t de Estudante . Um valor P é a probabilidade de encontrar a diferença observada (ou uma mais extrema) entre uma experiência e o controle, visto que, na realidade, não há essa diferença. Esses valores P podem ser usados somente para determinar se os dados observados estão consistentes, visto que a experiência e o controle são iguais. Esses valores não podem ser usados para determinar se uma experiência é diferente de outra experiência (não de controle).
    A Alocação automática mostra a probabilidade de uma determinada experiência ser um verdadeiro vencedor em todas as experiências na atividade. Isso significa que apenas uma experiência vencedora (que provavelmente será a vencedora) terá um valor de confiança diferente de zero. Todos os outros são mais propensos a serem perdedores e exibirão 0%.
  • A Alocação automática começa a mostrar confiança somente após a experiência vencedora reunir 60% de confiança. Esses níveis de confiança normalmente aparecem em cerca de metade do tempo que um teste A/B normal levaria para ser concluído (embora isso não seja garantido). To determine how long a normal A/B test would run, please use a sample size calculator : plug control's conversion-rate in "Baseline conversion rate," "5%" for "Lift," and 95% for "Confidence." Normalmente, a confiança começa a aparecer depois que cada experiência acumulou pelo menos 50% das amostras necessárias por experiência. Isso lhe dará uma ideia de quando a confiança começará a aparecer.
  • Se o relatório mostrar 0% em todo o quadro, é provável que seja muito cedo para a atividade.