Interpretieren der automatischen Zuordnungsberichte
Interpretieren der Ergebnisse eines Automatische Zuordnung A/B-Aktivität in Adobe Target durch Untersuchung wichtiger Indikatoren, einschließlich Steigerung und Vertrauen.
Viele Marketingexperten machen den Fehler, ein Erlebnis vorzeitig zum erfolgreichsten zu erklären, bevor endgültige Ergebnisse vorliegen. Target erleichtert es Ihnen, den Gewinner zu bestimmen.
Allgemeine Informationen zum Festlegen eines Gewinners finden Sie unter Zehn häufige Fehler bei A/B-Tests und wie diese vermieden werden.
Erlebnis mit dem Gewinner identifizieren section_24007470CF5B4D30A06610CE8DD23CE3
Bei der Verwendung der Funktion „Automatisierte Zuordnung“ zeigt Target oben auf der Seite der Aktivität ein Abzeichen mit „Noch kein Gewinner“ an, bis die Aktivität die Mindestanzahl an Konversionen mit ausreichender Konfidenz erreicht hat.
Wenn ein eindeutiger Gewinner feststeht, Target zeigt "Gewinner"an: Erlebnis X."
Statistische Garantien für die automatische Zuordnung section_7AF3B93E90BA4B80BC9FC4783B6A389C
Am Ende einer A/B-Aktivität Automatische Zuordnung garantiert, dass der festgestellte Gewinner eine effektive Falsch-Positiv-Rate von 5 % aufweist. Das bedeutet, dass der festgestellte Gewinner nur 5 % der Zeit nicht das beste Erlebnis aller in der Aktivität vorhandenen Erlebnisse ist. Für A/A-Test (mit identischen Erlebnissen), Target einen Test von weniger als 5 % der Zeit abschließt. Zu erwarten ist, dass der A/A-Test (mit identischen Erlebnissen) unbegrenzt lange läuft, ohne dass ein Siegerabzeichen angezeigt wird.
Target verwendet keine p-Wert-basierte Konfidenz für Automatische Zuordnung.
Die Vertrauen in einer Spalte Automatische Zuordnung -Aktivität (siehe Abbildung unten) zeigt die Wahrscheinlichkeit an, mit der ein Erlebnis innerhalb einer Fehlergrenze von 1 % als Gewinner ermittelt wird. Der Algorithmus verwendet einen minimalen erkennbaren Effekt von 1 % zwischen den besten und den zweitbesten Konversionsraten. Der Algorithmus verwendet Bernstein-Ungleichheit um diese Wahrscheinlichkeit zu berechnen.
Bei normalen A/B-Tests wird die Konfidenz basierend auf P-Werten berechnet. Für die automatische Zuordnung werden keine P-Werte verwendet. Mit P-Werten wird „grob“ die Wahrscheinlichkeit berechnet, mit der ein bestimmtes Erlebnis vom Kontrollelement abweicht. Diese P-Werte können dazu genutzt werden, um zu bestimmen, ob sich ein Erlebnis vom Kontrollelement unterscheidet. Die Werte können nicht genutzt werden, um festzustellen, ob ein Erlebnis sich von einem anderen Erlebnis unterscheidet, das nicht das Kontrollerlebnis ist.
Informationen zu Steigerungs- und Konfidenzberichten in Automatische Zuordnung activities lift-confidence
In Automatische Zuordnung Aktivitäten, wird das erste Erlebnis (standardmäßig Erlebnis A genannt) immer als Kontrollerlebnis für die Berichte Registerkarte. Dieses Erlebnis wird bei der Modellierung, die zur Ermittlung der Erlebnisleistung verwendet wird, nicht als echte statistische Kontrolle behandelt, sondern als Referenz oder Grundlage für einige Zahlen im Bericht behandelt.
Der numerische Wert "Steigerung"und die 95-%-Grenzen für jedes Erlebnis werden immer mit Bezug auf das definierte Kontrollerlebnis berechnet. Das definierte Kontrollerlebnis kann keine Steigerung im Verhältnis zu sich selbst aufweisen. Daher wird für dieses Erlebnis ein leerer "—"-Wert gemeldet. Im Gegensatz zu A/B-Tests in Automatische Zuordnung Tests, bei denen ein Erlebnis schlechter abschneidet als das definierte Steuerelement, wird kein negativer Steigerungswert gemeldet, stattdessen wird "—"angezeigt.
Die angezeigten Konfidenzintervall Balken stellen das Konfidenzintervall von 95 % um die mittlere Schätzung der Konversionsrate eines Erlebnisses dar. Diese Balken sind auch in Bezug auf das definierte Kontrollerlebnis farbcodiert. Die Leiste des Kontrollerlebnisses ist immer grau gefärbt. Die Abschnitte der Konfidenzintervalle unterhalb des Konfidenzintervalls des Kontrollerlebnisses sind rot und die Abschnitte der Konfidenzintervalle über dem Kontrollerlebnis sind grün.
Ein Gewinner wird gefunden, wenn das führende Erlebnis 95 % Konfidenzintervall überschneidet sich nicht mit anderen Erlebnissen. Das erfolgreichste Erlebnis wird mit einem grünen Sternzeichen links neben dem Erlebnisnamen und im Banner "Gewinner"gekennzeichnet. Wenn kein Stern sichtbar ist, lautet das Banner "Noch kein Gewinner"und ein Gewinner wurde noch nicht gefunden.
Neben dem derzeit führenden oder erfolgreichsten Erlebnis wird auch eine "Konfidenz"gemeldet. Diese Zahl wird nur bis zum Vertrauen mindestens 60 % erreicht. Wenn im Automatische Zuordnung -Aktivität entspricht, stellt diese Zahl das Konfidenzniveau dar, das das Erlebnis besser abschneidet als das andere Erlebnis. Wenn mehr als zwei Erlebnisse im Automatische Zuordnung -Aktivität entspricht, stellt diese Zahl das Konfidenzniveau dar, das das Erlebnis besser abschneidet als das definierte Kontrollerlebnis. Wenn das Kontrollerlebnis gewinnt, wird keine "Konfidenz"-Zahl gemeldet.
Häufig gestellte Fragen section_C8E068512A93458D8C006760B1C0B6A2
Beachten Sie die folgenden Antworten auf häufig gestellte Fragen:
Die Aktivität ist seit mehreren Tagen online. Warum werden sämtliche Konfidenzwerte noch immer mit 0 % angegeben?
Die folgenden Gründe erläutern, warum für sämtliche Aktivitäten in der Spalte Konfidenz des Berichts der Wert 0 % angezeigt wird:
-
Manuelle A/B-Tests Automatische Zuordnung Verwendung verschiedener Statistiken zur Anzeige Vertrauen -Werte.
Manuelle A/B-Tests verwenden P-Werte basierend auf Welch's t-Test. Ein P-Wert gibt die Wahrscheinlichkeit an, den beobachteten (oder einen extremeren) Unterschied zwischen einem Erlebnis und dem Kontrollelement zu erhalten, wobei in Wirklichkeit kein solcher Unterschied vorliegt. Diese P-Werte können nur verwendet werden, um festzustellen, ob die beobachteten Daten mit einem bestimmten Erlebnis im Einklang stehen und das Kontrollelement identisch ist. Die Werte können nicht genutzt werden, um festzustellen, ob ein Erlebnis sich von einem anderen Erlebnis unterscheidet, das nicht das Kontrollerlebnis ist.
Automatische Zuordnung zeigt die Wahrscheinlichkeit an, mit der ein bestimmtes Erlebnis für alle Erlebnisse in der Aktivität als wahrer Gewinner ermittelt wird. Nur ein erfolgreichstes Erlebnis (das höchstwahrscheinlich der Gewinner ist) hat einen Konfidenzwert ungleich null. Bei allen anderen handelt es sich höchstwahrscheinlich um Verlierer und um 0 %.
-
Die Konfidenz wird in der automatischen Zuordnung nur angezeigt, nachdem das erfolgreichste Erlebnis einen Wert von mehr als 60 % erzielen konnte. Diese Konfidenzwerte treten in der Regel in etwa der Hälfte der Zeit auf, die ein normaler A/B-Test dauern würde (obwohl dieser Zeitraum nicht garantiert ist). Um zu bestimmen, wie lange ein normaler A/B-Test laufen würde, verwenden Sie die Adobe Target Stichprobengrößenrechner: Konversionsrate der Kontrolle in "Baseline-Konversionsrate", "5 %"für "Steigerung"und "95 % für "Konfidenz". Typischerweise wird die Konfidenz angezeigt, nachdem jedes Erlebnis mindestens 50 % der erforderlichen Stichproben pro Erlebnis sammeln konnte. So erhalten Sie eine Vorstellung davon, wann die Konfidenz erscheint.
-
Wird im Bericht überall der Wert 0 % angezeigt, ist die Aktivität höchstwahrscheinlich noch nicht lange genug online.
Sind die Abzeichen „Kein Gewinner“, „Gewinner“ und „Stern“ verfügbar für Aktivitäten des Typs Automatische Zuordnung, die Analytics als Berichtsquelle (A4T) verwenden?
Die Abzeichen "Noch kein Gewinner"und "Gewinner"sind derzeit nicht im A4T Bedienfeld in Analysis Workspace. Diese Abzeichen sind auch dann nicht verfügbar, wenn derselbe Bericht in Target. Das Zeichen "Stern"des Gewinners wird in einer Target für einen Automatische Zuordnung -Aktivität, die A4T verwendet, sollte ignoriert werden.
Weitere Informationen zu diesen und anderen Einschränkungen und Anmerkungen finden Sie unter Automatische Zuordnung in A4T-Unterstützung für Automatische Zuordnung und Automatisches Targeting activities.