Show Menu
ARGOMENTI×

Interpretare i rapporti di allocazione automatica

Interpretate i risultati di un'attività di allocazione automatica A/B esaminando indicatori importanti, inclusi incrementi e confidenza, nell'interfaccia utente di Target.
Molti addetti al marketing commettono l’errore di dichiarare un’esperienza vincente prima che i risultati indichino chiaramente quale sia l’esperienza migliore. Ora abbiamo reso più facile determinare il vincitore.
Per informazioni generali sulla dichiarazione di un vincitore, consultate Dieci comuni errori di test A/B e come evitarli .

Identificare l'esperienza vincente

Quando utilizzi la funzione di Allocazione automatica, Target mostra un badge nella parte superiore della pagina dell'attività che indica “Ancora nessun vincitore” finché l'attività non raggiunge il numero minimo di conversioni con sufficiente affidabilità.
Quando viene dichiarata l'esperienza migliore, in Target appare la scritta “Vincitore: esperienza X”.
Le attività di Allocazione automatica sono progettate per trovare la migliore esperienza tra tutte le opzioni e non solo per fare confronti in coppia con il controllo.

Statistical guarantees of Auto-Allocate

Al termine di un'attività A/B, Allocazione automatica garantisce che il vincitore determinato abbia un tasso di falso positivo efficace del 5%. Questo significa che solo per il 5% del tempo, il vincitore determinato non è in realtà la migliore esperienza tra tutte le esperienze nell'attività. Per un test A/A (con esperienze identiche), concludiamo un test inferiore al 5% del tempo. Il comportamento previsto per un test A/A (con esperienze identiche) è l'esecuzione indefinita e quindi il badge del vincitore non dovrebbe mai apparire.
Non utilizziamo l’affidabilità basata sul valore p per l'Allocazione automatica.
La colonna Affidabilità in un'attività di Allocazione automatica (illustrata di seguito) visualizza la probabilità che un'esperienza sia il vincitore entro l'1% di margine di errore (cioè l'algoritmo utilizza un effetto minimo rilevabile dell'1% tra il tasso di conversione migliore e il secondo migliore). L'algoritmo utilizza la disuguaglianza di Bernstein per calcolare questa probabilità.
I test A/B normali calcolano l’affidabilità in base ai valori p. L'Allocazione automatica non utilizza i valori p. I valori p calcolano “liberamente” la probabilità che una determinata esperienza sia diversa dal controllo. Questi valori p possono essere utilizzati solo per determinare se un’esperienza è diversa dal controllo. Questi valori non possono essere utilizzati per determinare se un'esperienza è diversa da un'altra esperienza (non controllo).
Target mostra un vincitore dopo un numero minimo predefinito di conversioni; tuttavia, la decisione finale di scegliere il vincitore dovrebbe sempre essere sui risultati della calcolatrice delle dimensioni del campione del Adobe Target . Target non considera i tassi di conversione di base di un sito e altri aspetti importanti che vengono inseriti nel calcolatore per determinare la durata dell'attività. Di conseguenza, Target potrebbe visualizzare un vincitore prima del previsto sulla base di un numero minimo di conversioni. Per ulteriori informazioni, vedere Sample Size Calculator (Calcolatore dimensioni campione).

Comprendere i rapporti Lift and Confidence nelle attività Auto Allocate

Nelle attività di allocazione automatica, la prima esperienza (per impostazione predefinita denominata Esperienza A) è sempre definita come esperienza di "controllo" nella scheda Rapporti. Questa esperienza non viene trattata come un vero controllo statistico nella modellazione utilizzata per determinare le prestazioni delle esperienze, ma viene trattata come riferimento o previsione per alcune figure del rapporto.
Il valore numerico "Lift" e i limiti del 95% per ogni esperienza vengono sempre calcolati con riferimento all'esperienza "Control" definita. L'esperienza "Control" definita non può avere un incremento relativo a se stessa, pertanto per questa esperienza viene segnalato un valore "—" vuoto. A differenza dei test A/B, nei test di allocazione automatica, se un'esperienza ha prestazioni peggiori del controllo definito, non viene riportato un valore di incremento negativo; viene invece visualizzato "—".
Le barre dell'intervallo di confidenza visualizzato rappresentano l'intervallo di confidenza del 95% intorno alla stima media del tasso di conversione di un'esperienza. Sono anche codificati in base al colore rispetto all'esperienza "Control" definita. La barra dell'esperienza "Control" è sempre di colore grigio. Le porzioni di intervalli di confidenza al di sotto dell'intervallo di confidenza dell'esperienza "Control" sono colorate di rosso e le porzioni di intervalli di confidenza al di sopra dell'esperienza "Control" sono colorate di verde.
Un vincitore si trova quando l'intervallo di confidenza del 95% dell'esperienza principale non si sovrappone ad altre esperienze. L'esperienza vincente viene designata con un contrassegno a stella verde a sinistra del nome dell'esperienza e nel banner "Vincitore". Quando nessuna stella è visibile, il banner recita "No Winner yet" (Nessun vincitore ancora) e il vincitore non è ancora stato trovato.
Un numero "Confidence" viene riportato anche accanto all'esperienza attualmente leader o vincente. Questa cifra viene riportata solo fino a quando la confidenza dell'esperienza principale non raggiunge almeno il 60%. Se esattamente due esperienze sono presenti nell'esperimento Allocazione automatica, questo numero rappresenta il livello di confidenza con cui l'esperienza ha prestazioni migliori rispetto all'altra esperienza. Se nell'esperimento Auto-Allocate sono presenti più di due esperienze, questo numero rappresenta il livello di confidenza con cui l'esperienza viene eseguita meglio dell'esperienza "Control" definita. Se l'esperienza "Control" è vincente, non viene segnalata alcuna figura "Confidence".

Domande frequenti

L’attività è in corso da un paio di giorni. Perché tutti i valori di affidabilità mostrano ancora 0%?
Nella colonna Affidabilità del rapporto per tutte le attività viene visualizzato 0% per i seguenti motivi:
  • I test A/B manuali e l'allocazione automatica utilizzano statistiche diverse per visualizzare i valori di affidabilità.
    I test A/B manuali utilizzano valori p basati sul test t di Student . Un valore p rappresenta la probabilità di trovare la differenza osservata (o una differenza maggiore) tra un’esperienza e il controllo, dato che in realtà non esiste una differenza simile. Questi valori p possono essere utilizzati solo per determinare se i dati osservati sono coerenti quando un’esperienza specifica e il controllo sono uguali. Questi valori non possono essere utilizzati per determinare se un'esperienza è diversa da un'altra esperienza (non controllo).
    L'allocazione automatica mostra la probabilità che una determinata esperienza sia un vero vincitore in tutte le esperienze dell'attività. Questo significa che solo un'esperienza vincente (che è più probabile che sia il vincitore), avrà un valore di affidabilità diverso da zero. Tutte le altre hanno più probabilità di essere perdenti e presentano il valore 0%.
  • L'allocazione automatica inizia a mostrare un valore di affidabilità solo dopo che l'esperienza vincente avrà raccolto il 60% di affidabilità. Questi livelli di confidenza vengono generalmente visualizzati in circa la metà del tempo necessario per completare un normale test A/B (anche se questo non è garantito). To determine how long a normal A/B test would run, please use a sample size calculator : plug control's conversion-rate in "Baseline conversion rate," "5%" for "Lift," and 95% for "Confidence." In genere, i valori di affidabilità iniziano a comparire dopo che ogni esperienza ha accumulato almeno il 50% dei campioni richiesti per esperienza. Questo ti dà un'idea di quando potrai iniziare a vedere valori di affidabilità.
  • Se il rapporto presenta 0% per tutte le esperienze, è probabile che sia ancora troppo presto nel corso dell’attività.