Show Menu
ARGOMENTI×

Foglio di calcolo Progettazione Di Esperimenti

Questo file funziona non solo come un foglio di lavoro ma anche come un record delle vostre decisioni sull'esperimento.
Se avete bisogno di aiuto nella progettazione dell'esperimento, potete utilizzare il foglio di calcolo della progettazione dell'esperimento (denominato VS Controlled Experience Design.xls per impostazione predefinita) fornito da Adobe.
Il foglio di calcolo della progettazione dell'esperimento può fornire utili inferenze statistiche solo quando la metrica in questione è definita come percentuale di visitatori che soddisfano alcuni criteri. In altre parole, è utile solo quando si esegue il test di un'ipotesi metrica basata sui visitatori.
Per progettare l'esperimento utilizzando il file di progettazione dell'esperimento
  1. Se disponete dell'accesso dell'amministratore ai server Web o ai server applicazione, individuate la cartella di Sensor installazione su qualsiasi Sensor computer del cluster Web. Se non disponete dell'accesso dell'amministratore, contattate il vostro account manager Adobe per richiedere il file.
  2. Aprite il file VS Controlled Experiment Design.xls. Se lo desiderate, potete rinominare il file.
    Il foglio di calcolo riportato nella pagina seguente è un esempio di come si potrebbe completare il foglio di calcolo quando si prepara a testare le ipotesi di esempio utilizzate in questa guida.
  3. Immettete il testo o i valori per tutti i campi in blu in questo file, descritti nella tabella seguente. I campi calcolati sono definiti nella seconda tabella.
In questo campo... Specifica
Titolo esperienza Un nome descrittivo per l'esperimento.
Descrizione dell'esperimento Una descrizione testuale dell’esperimento.
Metric in corso di studio
Nome della metrica su cui si basa l’esperimento.
Esempio: Conversione visitatori
Definizione metrica
La definizione della metrica su cui si basa l'esperimento.
Formato: Visitatori[X]/Visitatori
Esempio: Visitatori[URI='conversionpage.asp']/Visitatori
Ora di inizio prevista Data e ora in cui iniziare l'esperimento.
Ora di fine prevista Data e ora in cui si desidera che l’esperimento termini.
Selezioni applicabili (Facoltativo) Il nome della dimensione e il set di elementi o l'intervallo per il quale desiderate segmentare ulteriormente il set di dati.
URI di prova URI coinvolti nell'ipotesi. Definite gli URI correnti per il gruppo di controllo e gli URI alternativi creati o che verranno creati per i gruppi di test.
Metriche previste per le selezioni delle applicazioni Intestazione per i valori di metrica previsti per il sito Web.
Numero medio di visitatori per giorno Numero medio di visitatori al giorno nel sito Web.
Conversione visitatori Il tasso di conversione del visitatore medio per il sito Web.
Sperimentazione Determinerà se il nome della metrica per i gruppi di test è ... Intestazione per la modalità di confronto dei valori delle metriche.
Maggiore del valore per il gruppo di controllo? Impostate questo campo su True se desiderate che sia possibile concludere che la metrica del gruppo di test è aumentata durante l'esperimento. Impostare questo campo su False per ridurre il numero di visitatori necessari per trarre delle conclusioni. Adobe consiglia di impostarlo su True.
Minore del valore per il gruppo di controllo? Impostate questo campo su True se desiderate che la metrica del gruppo di test sia diminuita durante l'esperimento. Adobe consiglia di impostarlo su True.
Di almeno (livello di rilevamento) Percentuale in base alla quale si desidera che la metrica per il gruppo di test sia maggiore o minore di quella per il gruppo di controllo.
Con un livello di confidenza di almeno Livello di confidenza desiderato per i valori del gruppo di test. Il livello di confidenza determina il numero di falsi positivi per misurare la probabilità che l'aspettativa dichiarata sia vera.
e un livello di potenza Livello di potenza desiderato per i valori del gruppo di test. Il livello di potenza determina il numero di falsi negativi.
% dei visitatori Indicato per la percentuale di visitatori.
Gruppo di test Percentuale di visitatori che desiderate includere nel gruppo di test. È possibile riprodurre con questo numero fino a quando il valore nel campo Totale (solitamente 100%) della sezione Visitatori è uguale o superiore al valore nel campo Minimo visitatori richiesti (Test+Gruppi di controllo), entrambi descritti nella tabella seguente.
Gruppo di controllo Percentuale di visitatori che si desidera includere nel gruppo di controllo.
Altre note di progettazione Eventuali note da salvare come riferimento futuro.
I campi rimanenti sono calcolati in base ai valori immessi e descritti nella tabella seguente.
Campo
Descrizione
Metriche previste per le selezioni delle applicazioni
Intestazione per i valori di metrica previsti per il sito Web.
Visitatori previsti per periodo
Questo campo viene normalmente calcolato automaticamente dal foglio di calcolo. Si basa sul presupposto che nella maggior parte dei giorni il sito Web riceva più visitatori che visitatori di ritorno. In caso contrario, il calcolo di questa cella deve essere sovrascritto con il numero effettivo di visitatori previsto durante l’esperimento.
Valutazione Z calcolata per errore di tipo I
Il punteggio Z per un risultato falso positivo. Si tratta di un calcolo statistico intermedio.
Valutazione Z calcolata per errore di tipo II
Il punteggio Z per un risultato negativo falso. Si tratta di un calcolo statistico intermedio.
Visitatori minimi richiesti (Test+Gruppi Di Controllo)
Numero minimo di visitatori necessari per soddisfare il livello di confidenza, il livello di potenza e la valutazione Z specificati, espressi in percentuale del valore nel campo Visitatori previsti per periodo.
Visitatori minimi richiesti (Test+Gruppi Di Controllo)
Numero minimo di visitatori necessari all’esperimento per soddisfare il livello di confidenza, il livello di alimentazione e il punteggio Z specificati. Questo valore deve essere minore o uguale al valore nel campo Totale (solitamente 100%) della sezione Visitatori.
Tempo di sperimentazione minimo (giorni)
Numero minimo di giorni necessari per eseguire l'esperimento per soddisfare il livello di confidenza, il livello di potenza e il punteggio Z specificati. Questo numero calcolato è soggetto agli stessi problemi discussi nel campo Visitatori previsti per periodo. Nel caso di un sito Web con molti visitatori di ritorno, il campo Tempo di sperimentazione minimo (Giorni) rappresenta il numero previsto di giorni necessari per visualizzare un numero di visitatori univoci uguale al valore nel campo Visitatori minimi richiesti.
Visitatori
Intestazione per i valori dei visitatori.
Gruppo di test
Numero di visitatori necessari nel gruppo di test.
Gruppo di controllo
Numero di visitatori necessari nel gruppo di controllo.
Totale (Solitamente 100%)
Numero totale di visitatori necessari per l’esperimento. Questo valore deve essere uguale o maggiore del valore nel campo Visitatori minimi richiesti (Test+Gruppi di controllo).
Precisione del gruppo di test (a livello di confidenza di Target)
Percentuale che indica che esiste una probabilità uguale al livello di confidenza specificato per cui il valore misurato della metrica calcolata per il gruppo di test sarà all'interno di questa percentuale del suo valore reale.
Precisione del gruppo di controllo (a livello di confidenza di Target)
Percentuale che indica che esiste una probabilità pari al livello di confidenza specificato che il valore misurato della metrica calcolata per il gruppo di controllo sarà all'interno di questa percentuale del suo valore reale.
Punteggio Z (a precisione di destinazione)
Numero di deviazioni standard un dato valore è dalla media di prova.
Livello di confidenza reale (a intervallo di destinazione)
Il livello di confidenza raggiunto per l'esperimento. Il livello di confidenza misura la probabilità che l'aspettativa dichiarata sia vera.
Intervallo effettivo (a livello di confidenza Target)
L'intervallo di confidenza raggiunto per l'esperimento, che fornisce un intervallo stimato di valori che probabilmente includerà un parametro popolazione sconosciuto. Questo intervallo viene calcolato da un dato insieme di dati di esempio.
È necessario esaminare il valore nel campo Visitatori minimi richiesti (Test+Gruppi di controllo). . .
e confrontalo con il valore nel campo Totale della Visitors colonna.
Affinché l’esperimento sia statisticamente valido, il valore nel campo Totale (solitamente 100%) deve essere uguale o maggiore del valore nel campo Visitatori minimi richiesti (Test+Gruppi di controllo).
Dati gli input forniti, il foglio di lavoro di esempio mostra che 10.475 visitatori devono partecipare a questo esperimento per raggiungere il tasso di confidenza del 95% (che è la confidenza minima suggerita per qualsiasi esperimento controllato, anche se è possibile aumentare questo numero). L'esperimento attualmente progettato include 30.000 visitatori, che supera di gran lunga il numero minimo di visitatori richiesto.
Se mantenete lo stesso numero di giorni, potete aumentare il livello di confidenza fintanto che il numero totale di visitatori continua a raggiungere o superare il minimo richiesto.
  1. Salvate il file per i record e quindi utilizzate le informazioni del file per configurare l'esperimento utilizzando il foglio di calcolo di configurazione dell'esperimento. Per ulteriori informazioni su questo foglio di calcolo, consultate Configurazione e distribuzione dell'esperimento .