Calcoli statistici nei test A/Bn
Questo articolo documenta i calcoli statistici dettagliati utilizzati nei test A/Bn manuali in Adobe Target. Le definizioni sono fornite per Tasso di conversione, Intervallo di affidabilità del tasso di conversione, Incremento, Intervallo di affidabilità per l’incremento, e Affidabilità.
Prestazioni medie
Nella sezione seguente vengono illustrati i calcoli utilizzati nell'illustrazione precedente.
Campagne RPV (tasso di conversione e ricavo per visitatore)
L’illustrazione seguente mostra Tasso di conversione, Intervallo di affidabilità del tasso di conversionee il numero di Conversioni in un Target rapporto. Ad esempio, la prima riga mostra che per l’esperienza A: Tasso di conversione è 25,81% con un Intervallo di affidabilità di ±7,7% e 32 conversioni. Dato che l’esperienza è stata vista da 124 visitatori, questo equivale a 32/124 = 25,81%.
Il tasso di conversione o media, μ, per ogni esperienza ** in un esperimento è definito come un rapporto tra la somma della metrica e il numero di unità assegnate a quella metrica, N:
Qui,
-
Yi è il valore della metrica per ogni unità i, che è stato assegnato a una determinata esperienza **.
-
Somma in unità i dipende dalla scelta della metodologia di conteggio.
- Se Visitor viene utilizzata come metodologia di conteggio; ogni unità è un visitatore univoco, definito come partecipante univoco all’attività per tutta la durata dell’attività.
- Se Visite è utilizzato come metodologia di conteggio; ogni unità è una visita unica, definita come partecipante univoco a un’esperienza durante un Target sessione (con un
sessionId). QuandosessionIdSe il visitatore raggiunge il passaggio di conversione, viene conteggiata una nuova visita. - Se Impression attività viene utilizzato come metodologia di conteggio; ogni unità è un’impression univoca definita come ogni volta che un visitatore carica una pagina dell’attività.
Intervallo di confidenza della media/Tasso di conversione
L’intervallo di confidenza del tasso di conversione è intuitivamente definito come un intervallo di possibili tassi di conversione coerente con i dati sottostanti.
Durante l’esecuzione di esperimenti, il tasso di conversione per una determinata esperienza è un valore stima del tasso di conversione "true". Per quantificare l'incertezza nella stima: Target utilizza un intervallo di affidabilità. Target segnala sempre un intervallo di affidabilità del 95%, il che significa che alla fine il 95% degli intervalli di affidabilità calcolati include l’effettivo tasso di conversione dell’esperienza.
Un intervallo di confidenza del 95% del tasso di conversione μ è definito come l’intervallo di valori:
Dove l’errore standard per la media è definito come
Se si utilizza una stima imparziale della deviazione standard del campione:
Quando la campagna è basata su un tasso di conversione (ad esempio, la metrica di conversione è binaria), l’errore standard si riduce a:
Incremento
L’illustrazione seguente mostra Incremento e Intervallo di affidabilità dell’incremento in un Target Rapporto. Il numero rappresenta la media dell'intervallo dei limiti di incremento e la freccia indica se l'incremento è positivo o negativo. La freccia viene visualizzata in grigio fino a quando l’affidabilità non supera il 95%. Una volta superata la soglia di affidabilità, la freccia diventa verde o rossa in base a un incremento positivo o negativo.
L’incremento tra un’esperienza ** e l’esperienza di controllo 0 è il delta relativo nei tassi di conversione, definito come
Laddove i singoli tassi di conversione sono definiti sopra. Più semplicemente,
Lift(Experience N) = (Performance_Experience_N - Performance_Control)/ Performance_Control
Se il tasso di conversione dell’esperienza di controllo 0 è 0, non c'è ascensore.
Confidence Interval of Lift
Il grafico boxplot in Incremento medio e intervallo di affidabilità rappresenta il valore medio e il 95% Intervallo di affidabilità dell’incremento. Il grafico a caselle è grigio quando vi è una sovrapposizione tra l’intervallo di affidabilità di una determinata esperienza non di controllo e l’intervallo di affidabilità dell’esperienza di controllo. Il grafico a caselle è verde o rosso quando l’intervallo di affidabilità dell’esperienza fornita è superiore o inferiore all’intervallo di affidabilità dell’esperienza di controllo.
Errore standard dell’incremento tra un’esperienza ** e l’esperienza di controllo 0 è definito come:
Quindi l’intervallo di affidabilità del 95% dell’incremento è:
Questo calcolo utilizza il metodo "Delta" ed è descritto più dettagliatamente in questo documento
Affidabilità
L’ultima colonna mostra l’affidabilità in una Target rapporto. L’affidabilità di un’esperienza è una probabilità (espressa in percentuale) di ottenere un risultato estremo quanto quello osservato, data l’ipotesi nulla è vera. In termini di valori p, l’affidabilità visualizzata è 1 - valore p. Intuitivamente, una maggiore affidabilità significa che è meno probabile che l’esperienza di controllo e quella di non controllo abbiano tassi di conversione uguali.
In entrata Target, a due code Test t di Welch viene eseguita tra l’esperienza di prova e l’esperienza di controllo per verificare se i mezzi di prova e le esperienze di controllo sono gli stessi. Perché di solito non sappiamo se le dimensioni del campione e le varianze di due gruppi sono le stesse prima di eseguire l’esperimento, e Target Inoltre, consente di avere percentuali di traffico non uguali inviate a ogni esperienza, non si presume che la varianza per ogni esperienza sia uguale. Pertanto, il test t di Welch viene scelto al posto del test t di Student.
Per eseguire il test t di Welch, iniziamo prima a calcolare la statistica t e i gradi di libertà, quindi eseguiamo un test t a due code per generare il valore p. Infine, calcoliamo l’affidabilità in base al valore p.
Il t-statistico: differenza tra le medie di due variabili casuali indipendenti, ** e 0, diviso per l’errore standard della differenza:
Dove μv e μv0 sono i mezzi per ** e 0 rispettivamente, e l'errore standard della differenza tra μv e μv0 sono somministrati da:
Dove 2v e 2v0 sono le varianze di due esperienze e 0 rispettivamente e Nv e Nv0 sono le dimensioni del campione per e 0 rispettivamente.
Per il test t di Welch, il grado di libertà è calcolato come segue:
E il grado di libertà per ** e 0 sono definiti come:
Quindi il valore p può essere calcolato dall’area nelle code del t-distribuzione:
Infine, l’affidabilità riportata in Target è definito come:
Esecuzione dei calcoli offline
Il rapporto CSV scaricato include solo dati non elaborati; non include metriche calcolate come ricavi per visitatore, incremento o affidabilità, utilizzate per i test A/B.
Per calcolare queste quantità statistiche, scarica la Target Completa il calcolatore di affidabilità File Excel per immettere il valore dell’attività.