Show Menu
THEMEN×

Tabelle "Experimententwurf"

Diese Datei funktioniert nicht nur als Arbeitsblatt, sondern auch als Aufzeichnung Ihrer Experimententscheidungen.
Wenn Sie Hilfe beim Entwerfen Ihres Experiments benötigen, können Sie die von Adobe bereitgestellte Tabelle zum Testentwurf verwenden (standardmäßig "VS Controlled Experiment Design.xls"genannt).
Die Tabelle zum Testentwurf kann nur dann nützliche statistische Schlussfolgerungen liefern, wenn die betreffende Metrik als Prozentsatz der Besucher definiert wird, die bestimmte Kriterien erfüllen. Das heißt, es ist nur nützlich, wenn eine besucherbasierte Metrikhypothese getestet wird.
So entwerfen Sie Ihr Experiment mit der Experimententwurfdatei
  1. Wenn Sie über Administratorzugriff auf Ihre Web- oder Anwendungsserver verfügen, navigieren Sie zum Sensor Installationsordner auf einem beliebigen Sensor Computer im Webcluster. Wenn Sie keinen Administratorzugriff haben, wenden Sie sich an Ihren Adobe-Kundenbetreuer, um die Datei anzufordern.
  2. Öffnen Sie die Datei "VS Controlled Experiment Design.xls". (Sie können diese Datei bei Bedarf umbenennen.)
    Die Tabelle auf der folgenden Seite ist ein Beispiel dafür, wie Sie die Tabelle bei der Vorbereitung zum Testen der in diesem Handbuch verwendeten Beispielhypothese abschließen würden.
  3. Geben Sie Text oder Werte für alle blauen Felder in dieser Datei ein, die in der folgenden Tabelle beschrieben werden. Die berechneten Felder werden in der zweiten Tabelle definiert.
In diesem Bereich... Legen Sie
Experimenttitel Ein beschreibender Name für Ihr Experiment.
Experimentbeschreibung Eine Textbeschreibung des Experiments.
Zu untersuchende Metrik
Der Name der Metrik, auf der das Experiment basiert.
Beispiel: Besucherumrechnung
Metrikdefinition
Die Definition der Metrik, auf der das Experiment basiert.
Format: Besucher[X]/Besucher
Beispiel: Visitors[URI='conversionpage.asp']/Visitors
Vorgesehene Startzeit Datum und Uhrzeit des Experiments.
Vorgesehene Endzeit Datum und Uhrzeit des Endes des Experiments.
Gültige Auswahl (Optional) Der Dimensionsname und der Elementsatz bzw. der Bereich, mit dem Sie den Datensatz weiter segmentieren möchten.
Experiment-URIs Die an Ihrer Hypothese beteiligten URIs. Sie definieren die aktuellen URIs für die Kontrollgruppe und die alternativen URIs, die Sie für die Testgruppe/n erstellt haben oder erstellen werden.
Erwartete Metriken für Anwendungsauswahl Überschrift für die Metrikwerte, die Sie für Ihre Website erwarten.
Durchschnittliche Besucher pro Tag Die durchschnittliche Anzahl der Besucher Ihrer Website pro Tag.
Besucherumrechnung Die durchschnittliche Besucherkonversionsrate für Ihre Website.
Experiment ermittelt, ob der Metrikname für die Testgruppen ... Überschrift zum Vergleich der Metrikwerte.
Größer als der Wert für die Kontrollgruppe? Setzen Sie dieses Feld auf "True", wenn Sie feststellen möchten, dass die Metrik der Testgruppe während des Experiments erhöht wurde. Setzen Sie dieses Feld auf "False", um die Anzahl der Besucher zu verringern, die zum Zeichnen von Schlussfolgerungen benötigt werden. Adobe empfiehlt, dass Sie True festlegen.
Kleiner als der Wert für die Kontrollgruppe? Setzen Sie dieses Feld auf True, wenn Sie feststellen möchten, dass die Metrik der Testgruppe während des Experiments verringert wurde. Adobe empfiehlt, dass Sie True festlegen.
Mindestens um (Erkennungsstufe) Der Prozentsatz, um den die Metrik für die Testgruppe höher oder niedriger als der für die Kontrollgruppe sein soll.
mit einem Vertrauensniveau von mindestens Das gewünschte Konfidenzniveau für die Testgruppenwerte. Das Vertrauensniveau bestimmt die Anzahl der Falsch-Positiv-Werte, um die Wahrscheinlichkeit zu messen, dass die angegebene Erwartung wahr ist.
und ein Leistungsniveau von Der gewünschte Leistungsgrad für die Testgruppenwerte. Der Leistungsgrad bestimmt die Anzahl der Falsch-Negative.
% der Besucher Überschrift für den Prozentsatz der Besucherwerte.
Testgruppe Prozentsatz der Besucher, die Sie in die Testgruppe aufnehmen möchten. Sie können mit dieser Zahl abspielen, bis der Wert im Feld "Summe"(normalerweise 100 %) im Abschnitt "Besucher"dem Wert im Feld "Erforderliche Mindestbesucher (Test- und Kontrollgruppen)"entspricht oder diesen Wert überschreitet. Beide Werte werden in der folgenden Tabelle beschrieben.
Kontrollgruppe Prozentsatz der Besucher, die Sie in die Kontrollgruppe aufnehmen möchten.
Andere Design-Hinweise Alle Notizen, die Sie zur späteren Verwendung speichern möchten.
Die übrigen Felder werden auf der Grundlage der eingegebenen Werte berechnet und in der folgenden Tabelle beschrieben.
Feld
Beschreibung
Erwartete Metriken für Anwendungsauswahl
Überschrift für die Metrikwerte, die Sie für Ihre Website erwarten.
Erwartete Besucher pro Zeitraum
Dieses Feld wird normalerweise automatisch anhand der Tabelle berechnet. Es wird davon ausgegangen, dass die Website an den meisten Tagen viel mehr neue Besucher erhält als zurückkehrende Besucher. Ist dies nicht der Fall, sollte die Berechnung dieser Zelle mit der tatsächlichen Anzahl der während des Experiments erwarteten Besucher überschrieben werden.
Berechnete Z-Bewertung für Fehler Typ I
Der Z-Wert für ein falsch positives Ergebnis. Dies ist eine statistische Zwischenberechnung.
Berechnete Z-Bewertung für Fehler Typ II
Der Z-Wert für ein falsches negatives Ergebnis. Dies ist eine statistische Zwischenberechnung.
Erforderliche Mindestbesucher (Test+Kontrollgruppen)
Mindestanzahl der Besucher, die im Experiment benötigt werden, um Ihr angegebenes Konfidenzniveau, Leistungsniveau und z-Wert zu erreichen, ausgedrückt als Prozentsatz des Werts im Feld Erwartete Besucher pro Zeitraum.
Erforderliche Mindestbesucher (Test+Kontrollgruppen)
Mindestanzahl der Besucher, die im Experiment benötigt werden, um Ihr angegebenes Konfidenzniveau, Leistungsniveau und z-Wert zu erreichen. Dieser Wert muss kleiner oder gleich dem Wert im Feld "Summe"(normalerweise 100 %) im Abschnitt "Besucher"sein.
Mindestversuchszeit (Tage)
Mindestanzahl von Tagen, die Sie zum Ausführen des Experiments benötigen, um das angegebene Konfidenzniveau, den Leistungsgrad und den Z-Wert zu erreichen. Diese berechnete Zahl unterliegt denselben Problemen wie im Feld Erwartete Besucher pro Zeitraum beschrieben. Bei einer Website mit vielen wiederkehrenden Besuchern ist das Feld "Mindestversuchszeit (Tage)"die erwartete Anzahl von Tagen, die benötigt wird, um eine Anzahl individueller Besucher anzuzeigen, die dem Wert im Feld "Erforderliche Mindestbesucher"entspricht.
Besucher
Überschrift für die Besucherwerte.
Testgruppe
Anzahl der in der Testgruppe benötigten Besucher.
Kontrollgruppe
Anzahl der in der Kontrollgruppe benötigten Besucher.
Gesamt (in der Regel 100%)
Gesamtzahl der für das Experiment benötigten Besucher. Dieser Wert muss gleich oder größer als der Wert im Feld "Erforderliche Mindestbesucher (Test+Kontrollgruppen)"sein.
Genauigkeit der Testgruppe (auf Target-Konfidenzebene)
Prozentsatz, der angibt, dass eine Chance besteht, die dem angegebenen Konfidenzniveau entspricht, dass der für die Testgruppe berechnete gemessene Wert der Metrik innerhalb dieses Prozentsatzes vom tatsächlichen Wert liegt.
Genauigkeit der Kontrollgruppe (auf der Ebene der Zielsicherheit)
Prozentsatz, der angibt, dass eine Chance besteht, die dem angegebenen Konfidenzniveau entspricht, dass der für die Kontrollgruppe berechnete gemessene Wert der Metrik in diesem Prozentsatz ihres tatsächlichen Wertes liegt.
Z-Ergebnis (bei Zielgenauigkeit)
Anzahl der Standardabweichungen, bei denen ein bestimmter Wert vom Prüfmittelwert abweicht.
Tatsächliche Konfidenzstufe (im Zielintervall)
Das für den Versuch erzielte Vertrauensniveau. Das Konfidenzniveau misst die Wahrscheinlichkeit, dass die angegebene Erwartung wahr ist.
Tatsächliches Intervall (auf der Ebene der Zielsicherheit)
Das für den Versuch erreichte Konfidenzintervall, das einen geschätzten Wertebereich bereitstellt, der wahrscheinlich einen unbekannten Populationsparameter enthält. Dieser Bereich wird aus einem bestimmten Satz von Musterdaten berechnet.
Sie müssen sich den Wert im Feld Erforderliche Mindestbesucher (Test+Kontrollgruppen) ansehen. . .
und mit dem Wert im Feld "Gesamt"in der Visitors Spalte vergleichen.
Damit Ihr Experiment statistisch gültig ist, muss der Wert im Feld "Summe"(normalerweise 100 %) gleich oder größer als der Wert im Feld "Erforderliche Mindestbesucher"(Test+Kontrollgruppen) sein.
Angesichts der bereitgestellten Eingaben zeigt das Beispielarbeitsblatt, dass 10.475 Besucher an diesem Experiment teilnehmen müssen, um die eingegebene Konfidenzrate von 95 % zu erreichen (was die empfohlene Mindestsicherheit für ein kontrolliertes Experiment ist, obwohl Sie diese Zahl erhöhen können). Das derzeit entworfene Experiment umfasst 30.000 Besucher, was deutlich über der Mindestanzahl der erforderlichen Besucher liegt.
Wenn Sie die Anzahl der Tage beibehalten, können Sie das Konfidenzniveau erhöhen, solange die Gesamtanzahl der Besucher die erforderliche Mindestanzahl erreicht oder überschreitet.
  1. Speichern Sie die Datei für Ihre Datensätze und konfigurieren Sie dann mithilfe der Informationen aus der Datei das Experiment mithilfe der Tabelle für die Experimentkonfiguration. Weitere Informationen zu dieser Tabelle finden Sie unter Konfigurieren und Bereitstellen des Experiments .