Calculs statistiques dans les tests A/B

Cet article documente les calculs statistiques détaillés utilisés dans les tests A/B manuels dans Adobe Target. Les définitions sont fournies pour Taux de conversion, Intervalle de confiance du taux de conversion, Effet élévateur, Intervalle de confiance pour l’effet élévateur, et Confiance.

Performances moyennes

La section suivante explique les calculs utilisés dans l’illustration précédente.

Campagnes sur le taux de conversion et les recettes par visiteur (RPV)

L’illustration suivante présente Taux de conversion, Intervalle de confiance du taux de conversionet le nombre de Conversions dans Target rapport. Par exemple, la première ligne indique que pour l’expérience A : la variable Taux de conversion est de 25,81 % avec une Intervalle de confiance de ±7,7 % et 32 conversions ont été enregistrées. Étant donné que 124 visiteurs ont vu l’expérience, cela équivaut à 32/124 = 25,81 %.

{width="25%"}

Le taux de conversion ou mean, μ_ν, pour chaque expérience ν dans une expérience est défini comme un ratio de la somme de la mesure par rapport au nombre d’unités affectées à cette mesure, N_ν:

{width="125px"}

Ici,

Intervalle de confiance du moyen/Taux de conversion

L’intervalle de confiance du taux de conversion est défini intuitivement comme une plage de taux de conversion possibles cohérents avec les données sous-jacentes.

Lors de l’exécution d’expériences, le taux de conversion d’une expérience donnée est une estimation du taux de conversion "true". Pour quantifier l'incertitude de cette estimation, Target utilise un intervalle de confiance. Target indique toujours un intervalle de confiance de 95 %, ce qui signifie qu’à la fin, 95 % des intervalles de confiance calculés incluent le taux de conversion réel de l’expérience.

Intervalle de confiance de 95 % du taux de conversion μ_ν est défini comme la plage de valeurs :

{width="30%"}

Lorsque l’erreur standard pour la moyenne est définie comme

{width="75px"}

Lorsqu’une estimation impartiale de l’écart-type d’échantillon est utilisée :

{width="200px"}

Lorsque la campagne est une campagne de taux de conversion (c’est-à-dire que la mesure de conversion est binaire), l’erreur standard se réduit à :

{width="150px"}

Effet élévateur

L’illustration suivante présente Effet élévateur et Intervalle de confiance de l’effet élévateur dans Target Rapport. Le nombre représente la moyenne de la plage des limites de l’effet élévateur, tandis que la flèche indique si l’effet élévateur est positif ou négatif. La flèche s’affiche en gris jusqu’à ce que le degré de confiance dépasse 95 %. Une fois le degré de confiance dépassé, la flèche est verte ou rouge en fonction d’un effet élévateur positif ou négatif.

{width="35%"}

Effet élévateur entre une expérience ν, et l’expérience de contrôle ν₀ est le "delta" relatif dans les taux de conversion, défini comme

{width="15%"}

Où les taux de conversion individuels sont tels que définis ci-dessus. Plus simplement :

Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control

Si le taux de conversion de l’expérience de contrôle ν₀ est 0, il n’y a pas d’ascenseur.

Confidence Interval of Lift

Graphique en boîte dans la variable Effet élévateur moyen et intervalle de confiance représente la valeur moyenne et 95 % ; Intervalle de confiance de l’effet élévateur. Le graphique en boîte est gris lorsqu’il existe un chevauchement dans l’intervalle de confiance d’une expérience donnée qui n’est pas témoin avec l’intervalle de confiance de l’expérience de contrôle. Le diagramme en boîte est vert ou rouge lorsque la plage de l’intervalle de confiance de l’expérience donnée est supérieure ou inférieure à l’intervalle de confiance de l’expérience de contrôle.

Erreur standard de l’effet élévateur entre une expérience ν, et l’expérience de contrôle ν₀ est défini comme suit :

{width="35%"}

L’intervalle de confiance de 95 % de l’effet élévateur est alors :

{width="40%"}

Ce calcul utilise la méthode "Delta" et est décrit plus de détails dans ce document

Degré de confiance

La dernière colonne indique la confiance dans un Target rapport. La confiance d’une expérience est une probabilité (indiquée sous la forme d’un pourcentage) d’obtenir un résultat aussi extrême que celui observé, étant donné que l’hypothèse nulle est vraie. En termes de p-valeurs, la confiance affichée est 1 - p-value. Intuitivement, une confiance plus élevée signifie qu’il est moins probable que l’expérience de contrôle et l’expérience de non-contrôle aient des taux de conversion égaux.

Dans Target, un Le test en t de Welch est effectué entre l’expérience de test et l’expérience de contrôle afin de tester si les moyens du test et des expériences de contrôle sont identiques. Parce que nous ne savons généralement pas si les tailles d’échantillon et les variations de deux groupes sont identiques avant de réaliser l’expérience, et Target vous permet également d’envoyer des pourcentages de trafic inégaux à chaque expérience. nous ne supposons pas que la variance de chaque expérience est égale. Ainsi, le test en t de Welch est choisi au lieu du test en t de Student.

Pour effectuer le test en t de Welch, nous commençons par calculer la statistique en t et les degrés de liberté, puis nous exécutons un test en t bidimensionnel pour générer la valeur p. Enfin, nous calculons la confiance en fonction de la valeur p.

La variable t-statistics est défini comme la différence des moyens de deux variables aléatoires indépendantes, ν et ν₀, divisé par l’erreur standard de la différence :

{width="100px"}

Où μ_v et μ_v0 sont les moyens de ν et ν₀ et l’erreur standard de la différence entre μ_v et μ_v0 sont donnés par :

{width="150px"}

Où underline²_v et underline²_v0 sont les variations de deux expériences ; ν et ν₀ respectivement, et N_v et N_v0 sont des tailles d’échantillon pour ν et ν₀ respectivement.

Pour le test en t de Welch, le degré de liberté est calculé comme suit :

{width="180px"}

Et degré de liberté pour ν et ν₀ sont définies comme suit :

{width="100px"}

{width="100px"}

Ensuite, la valeur p peut être calculée à partir de la zone située dans les queues de la variable t-distribution:

{width="20%"}

Enfin, le degré de confiance indiqué dans Target est défini comme suit :

{width="20%"}

Exécution de calculs hors ligne

Le rapport CSV téléchargé comprend uniquement des données brutes. Il ne tient pas compte des mesures calculées (recettes par visiteur, effet élévateur ou degré de confiance, par exemple) utilisées dans les tests A/B.

Pour calculer ces quantités statistiques, téléchargez le Target Calculateur de confiance complet Fichier Excel pour saisir la valeur de l’activité.