Show Menu
TEMAS×

Interpretar informes de asignación automática

Interprete los resultados de una actividad A/B de asignación automática examinando indicadores importantes, incluidos el alza y la confianza, en la interfaz de usuario de Destinatario.
Muchos especialistas en marketing cometen el error de declarar una experiencia ganadora precipitadamente antes de que los resultados indiquen el claro ganador. Ahora, le facilitamos la tarea de determinar el ganador.
Para obtener información general sobre cómo declarar un ganador, consulte Diez escollos comunes de prueba A/B y cómo evitarlos .

Identifique la experiencia ganadora

Al utilizar la función de asignación automática, Target muestra un distintivo en la parte superior de la página de la actividad indicando “Ningún ganador aún” hasta que la actividad alcance el número mínimo de conversiones con suficiente confianza.
Cuando se declara un claro ganador, Target muestra “Ganador: Experiencia X”.
Las actividades de asignación automática han sido diseñadas para encontrar la mejor experiencia entre todas las opciones y no solo hacer comparaciones por pares con control.

Statistical guarantees of Auto-Allocate

Al finalizar una actividad A/B, la asignación automática garantiza que el ganador determinado tiene una tasa efectiva de falsos positivos del 5 %. Esto significa que solo un 5 % de las veces el ganador determinado no es realmente la mejor experiencia de todas las que participan en la actividad. En una prueba A/A (con experiencias idénticas), la prueba se finaliza menos del 5 % de las veces. El comportamiento previsto en una prueba A/A (con experiencias idénticas) es que se ejecute de forma indefinida, de modo que nunca se mostrará el distintivo de ganador.
En la asignación automática no se utiliza la confianza basada en el valor P.
La columna Confianza de una actividad de asignación automática (ilustrada abajo) muestra la probabilidad de que una experiencia sea la ganadora con un 1 % de margen de error (es decir, el algoritmo usa un efecto mínimo detectable del 1 % entre la primera mejor tasa de conversión y la segunda). Observe que el algoritmo usa la desigualdad de Bernstein para calcular esta probabilidad.
Las pruebas A/B normales calculan la confianza según los valores p. La asignación automática no usa valores p. Los valores p calculan de forma “flexible” la probabilidad de que una experiencia indicada sea diferente al control. Estos valores P solo pueden usarse para determinar si una experiencia es diferente al control. Estos valores no pueden usarse para determinar si una experiencia es diferente a otra experiencia (no control).
Destinatario muestra un ganador después de un número mínimo predefinido de conversiones; sin embargo, la decisión final de elegir al ganador siempre debe estar en los resultados de la calculadora de tamaño de la muestra de Adobe Target. Destinatario no tiene en cuenta las tasas de conversión básicas de un sitio y otros aspectos importantes que se introducen en la calculadora para determinar la duración de la actividad. Como resultado, el Destinatario puede mostrar un ganador antes de lo justificado en base a un número mínimo de conversiones. Para obtener más información, consulte Calculadora de tamaño de la muestra .

Comprenda el sistema de informes de alza y confianza en actividades de asignación automática

En actividades de asignación automática, la primera experiencia (de forma predeterminada denominada Experiencia A) siempre se define como una experiencia de "control" en la ficha Informes. Esta experiencia no se trata como un verdadero control estadístico en el modelado utilizado para determinar el rendimiento de las experiencias, pero se trata como una referencia o una referencia para algunas cifras del informe.
El valor numérico "Alza" y los límites del 95 % para cada experiencia siempre se calculan con referencia a la experiencia definida como "Control". La experiencia "Control" definida no puede tener un alza en relación a sí misma, por lo que se informa de un valor "—" en blanco para esta experiencia. A diferencia de las pruebas A/B, en las pruebas de asignación automática, si una experiencia tiene un peor rendimiento que el control definido, no se notifica un valor de alza negativo; en su lugar se muestra "—".
Las barras Intervalo de confianza que se muestran representan el intervalo de confianza del 95 % en torno a la estimación media de la tasa de conversión de una experiencia. También están codificados por colores con respecto a la experiencia definida de "control". La barra de la experiencia "Control" siempre está coloreada en gris. Las partes de los intervalos de confianza por debajo del intervalo de confianza de la experiencia "Control" están coloreadas en rojo y las partes de los intervalos de confianza por encima de la experiencia "Control" están coloreadas en verde.
Se encuentra un ganador cuando el intervalo de confianza del 95 % de la experiencia líder no se superpone con ninguna otra experiencia. La experiencia ganadora se designa con una marca de estrella verde a la izquierda del nombre de la experiencia y en la pancarta "Ganador". Cuando no hay ninguna estrella visible, la pancarta dice "Ningún ganador aún" y todavía no se ha encontrado un ganador.
También se indica un número de "confianza" junto a la experiencia ganadora o líder en ese momento. Esta cifra se registra solamente hasta que la confianza de la experiencia líder alcance al menos el 60 %. Si hay exactamente dos experiencias presentes en el experimento de asignación automática, este número representa el nivel de confianza de que la experiencia está teniendo un mejor rendimiento que la otra experiencia. Si hay más de dos experiencias presentes en el experimento de asignación automática, este número representa el nivel de confianza de que la experiencia está teniendo un mejor rendimiento que la experiencia definida como "Control". Si la experiencia "Control" está ganando, no se notifica ninguna cifra de "Confianza".

Preguntas frecuentes

Han pasado varios días desde que empezó la actividad. ¿Por qué todos los valores de confianza siguen en el 0 %?
Alguna de las siguientes razones describe la razón por la que se muestra un 0 % en la columna Confianza de todas las actividades en el informe:
  • Las pruebas A/B manuales y la asignación automática usan diferentes estadísticas para mostrar valores de confianza.
    Las pruebas A/B manuales usan valores p según una prueba T de estudiante . Un valor P es la probabilidad de encontrar la diferencia observada (o más extrema) entre una experiencia y el control, dado que en la realidad no existe dicha diferencia. Estos valores P solo pueden utilizarse para determinar si los datos observados son coherentes con una experiencia determinada y si el control es el mismo. Estos valores no pueden usarse para determinar si una experiencia es diferente a otra experiencia (no control).
    La asignación automática muestra la probabilidad de que una experiencia indicada sea la auténtica ganadora de todas las experiencias de la actividad. Esto significa que solo una experiencia ganadora (que tiene más probabilidades de ganar) tendrá un valor de confianza diferente a cero. El resto tienen más probabilidades de perder y mostrarán un 0 %.
  • La asignación automática solo empieza a mostrar la confianza después de que la experiencia ganadora reúna un 60 % de confianza. Estos niveles de confianza suelen aparecer en aproximadamente la mitad del tiempo que tardaría una prueba A/B normal en completarse (aunque esto no está garantizado). To determine how long a normal A/B test would run, please use a sample size calculator : plug control's conversion-rate in "Baseline conversion rate," "5%" for "Lift," and 95% for "Confidence." Normalmente, la confianza empieza a mostrarse después de que cada experiencia haya reunido al menos un 50 % de las muestras por experiencia necesarias. Esto le dará una idea de cuándo empezará a aparecer la confianza.
  • Si el informe muestra un 0 % en el panel, es probable que sea pronto para la actividad.