Interpretare i rapporti di allocazione automatica
Interpretare i risultati di un Allocazione automatica Attività A/B in Adobe Target esaminando indicatori importanti, compresi l'incremento e l'affidabilità.
Molti addetti al marketing commettono l’errore di dichiarare un’esperienza vincente prima che i risultati indichino chiaramente quale sia l’esperienza migliore. Target consente di determinare più facilmente il vincitore.
Per informazioni generali sulla dichiarazione di un vincitore, consulta Dieci insidie frequenti per i test A/B e come evitarle.
Identificare l’esperienza vincente section_24007470CF5B4D30A06610CE8DD23CE3
Quando utilizzi la funzione di Allocazione automatica, Target mostra un badge nella parte superiore della pagina dell'attività che indica “Ancora nessun vincitore” finché l'attività non raggiunge il numero minimo di conversioni con sufficiente affidabilità.
Quando viene dichiarato un vincitore chiaro, Target visualizza "Vincitore: esperienza X."
Garanzie statistiche di Allocazione automatica section_7AF3B93E90BA4B80BC9FC4783B6A389C
Al termine di un’attività A/B, Allocazione automatica garantisce che il vincitore determinato abbia un tasso di falso positivo effettivo del 5%. Questo significa che solo per il 5% del tempo, il vincitore determinato non è in realtà la migliore esperienza tra tutte le esperienze nell'attività. Per un Test A/A (con esperienze identiche), Target conclude un test per meno del 5% del tempo. Il comportamento previsto per un test A/A (con esperienze identiche) è l'esecuzione indefinita e quindi il badge del vincitore non dovrebbe mai apparire.
Target non utilizza l’affidabilità basata sul valore p per Allocazione automatica.
Il Affidabilità colonna in un Allocazione automatica L’attività (illustrata di seguito) mostra la probabilità che un’esperienza sia il vincitore entro l’1% di margine di errore. L’algoritmo utilizza un effetto rilevabile minimo dell’1% tra i tassi di conversione migliori e quelli del secondo migliore. L’algoritmo utilizza Disuguaglianza di Bernstein per calcolare questa probabilità.
I test A/B normali calcolano l’affidabilità in base ai valori p. L'Allocazione automatica non utilizza i valori p. I valori p calcolano “liberamente” la probabilità che una determinata esperienza sia diversa dal controllo. Questi valori p possono essere utilizzati solo per determinare se un’esperienza è diversa dal controllo. Questi valori non possono essere utilizzati per determinare se un'esperienza è diversa da un'altra esperienza (non controllo).
Comprendere il reporting di incremento e affidabilità in Allocazione automatica attività lift-confidence
In entrata Allocazione automatica attività, la prima esperienza (per impostazione predefinita denominata Esperienza A) è sempre definita come esperienza di "controllo" sulla Rapporti scheda. Questa esperienza non viene trattata come un vero e proprio controllo statistico nella modellazione utilizzata per determinare le prestazioni delle esperienze, ma viene trattata come un riferimento o una base per alcune figure nel rapporto.
Il valore numerico di "Incremento" e i limiti del 95% per ogni esperienza vengono sempre calcolati in riferimento all’esperienza di "Controllo" definita. L'esperienza "Controllo" definita non può avere un incremento relativo a se stessa, pertanto per questa esperienza viene segnalato un valore vuoto "—". A differenza dei test A/B, in Allocazione automatica test, se un'esperienza ha risultati peggiori rispetto al controllo definito, non viene riportato un valore Lift negativo; viene invece visualizzato "—".
Il visualizzato Intervallo di affidabilità le barre rappresentano l’intervallo di affidabilità del 95% intorno alla stima media del tasso di conversione di un’esperienza. Queste barre sono inoltre codificate in base al colore in relazione all’esperienza "Controllo" definita. La barra dell’esperienza "Controllo" è sempre di colore grigio. Le parti degli intervalli di affidabilità al di sotto dell’intervallo di affidabilità dell’esperienza "Controllo" sono di colore rosso, mentre le parti degli intervalli di affidabilità al di sopra dell’esperienza "Controllo" sono di colore verde.
Un vincitore si trova quando l'esperienza principale è al 95% Intervallo di affidabilità non si sovrappone ad altre esperienze. L’esperienza vincente è indicata da un contrassegno a stella verde a sinistra del nome dell’esperienza e nel banner "Vincitore". Quando non è visibile alcuna stella, sullo striscione si legge "Ancora nessun vincitore" e non è stato ancora trovato un vincitore.
Viene inoltre riportato un numero di "affidabilità" accanto all’esperienza attualmente leader o vincente. Questa figura viene riportata solo fino a quando l’esperienza principale non Affidabilità raggiunge almeno il 60%. Se sono presenti due esperienze in Allocazione automatica attività, questo numero rappresenta il livello di affidabilità delle prestazioni dell’esperienza rispetto all’altra esperienza. Se sono presenti più di due esperienze nel Allocazione automatica attività, questo numero rappresenta il livello di affidabilità che l’esperienza sta ottenendo meglio rispetto all’esperienza di "controllo" definita. Se l’esperienza "Controllo" sta vincendo, non viene segnalato alcun valore "Affidabilità".
Domande frequenti section_C8E068512A93458D8C006760B1C0B6A2
Considera le seguenti risposte alle domande frequenti:
L’attività è in corso da un paio di giorni. Perché tutti i valori di affidabilità mostrano ancora 0%?
Nella colonna Affidabilità del rapporto per tutte le attività viene visualizzato 0% per i seguenti motivi:
-
test A/B manuali e Allocazione automatica utilizzare statistiche diverse per la visualizzazione Affidabilità valori.
I test A/B manuali utilizzano valori p basati su Test t di Welch. Un valore p rappresenta la probabilità di trovare la differenza osservata (o una differenza maggiore) tra un’esperienza e il controllo, dato che in realtà non esiste una differenza simile. Questi valori p possono essere utilizzati solo per determinare se i dati osservati sono coerenti quando un’esperienza specifica e il controllo sono uguali. Questi valori non possono essere utilizzati per determinare se un'esperienza è diversa da un'altra esperienza (non controllo).
Allocazione automatica mostra la probabilità che una determinata esperienza sia un vero vincitore in tutte le esperienze dell’attività. Solo un’esperienza vincente (che è più probabile che sia il vincitore) ha un valore di affidabilità diverso da zero. Tutti gli altri elementi hanno maggiori probabilità di essere perdenti e visualizzano lo 0%.
-
L'allocazione automatica inizia a mostrare un valore di affidabilità solo dopo che l'esperienza vincente avrà raccolto il 60% di affidabilità. Questi livelli di affidabilità vengono generalmente visualizzati in circa la metà del tempo necessario per il completamento di un normale test A/B (anche se questo intervallo di tempo non è garantito). Per determinare per quanto tempo deve essere eseguito un normale test A/B, utilizza Adobe Target Calcolatore dimensioni campione: inserisci il tasso di conversione del controllo in "Tasso di conversione di base", "5%" per "Incremento" e 95% per "Affidabilità". In genere, i valori di affidabilità iniziano a comparire dopo che ogni esperienza ha accumulato almeno il 50% dei campioni richiesti per esperienza. Questo ti dà un’idea di quando inizia a comparire la fiducia.
-
Se il rapporto presenta 0% per tutte le esperienze, è probabile che sia ancora troppo presto nel corso dell’attività.
Sono disponibili i badge (distintivi) “No Winner”, “Winner” e “star” per le attività di Allocazione automatica che utilizzano Analytics come origine di reporting (A4T)?
I badge "Ancora nessun vincitore" e "Vincitore" non sono attualmente disponibili nel A4T pannello in Analysis Workspace. Questi badge non sono disponibili neanche se lo stesso rapporto viene visualizzato in Target. Un badge vincitore "stella" mostrato in una Target rapporto per un Allocazione automatica L’attività che utilizza A4T deve essere ignorata.
Per ulteriori informazioni su questa e altre limitazioni e note, consulta Allocazione automatica in Supporto A4T per Allocazione automatica e Targeting automatico attività.