Show Menu
THEMEN×

A/B-Tests

Für einen E-Mail-Versand wurden verschiedene Inhalte erstellt und Sie möchten testen, welcher Inhalt bei der angesprochenen Zielgruppe die größten Erfolgschancen hat. Hierzu werden die verschiedenen Versionen jeweils an einen Teil der Zielgruppe gesendet. Die Version, die die besten Ergebnisse erzielt, wird dann an den Rest der Empfängerzielgruppe gesendet.
Im vorliegenden Anwendungsbeispiel wird ein Zielgruppen-Workflow verwendet, um zwei Inhaltsversionen zu vergleichen. Der Text ist jeweils derselbe, nur die Aufmachung unterscheidet sich.
Die Zielgruppe wird in drei Untergruppen geteilt: zwei Testpopulationen und die verbleibende Population. Jede Testpopulation erhält eine der beiden Versionen. Nach dem Versand werden die Öffnungsraten fünf Tage lang gesammelt. Die Version mit dem besten Ergebnis wird durch ein Script abgerufen und an die verbleibende Population gesendet.
Die Auswahl der Siegerversion kann je nach Bedarf nach verschiedenen Kriterien erfolgen. Hierbei kann es sich beispielsweise um die Öffnungsrate, Klickrate, Anmelderate oder die Reaktivität handeln.
Das vorliegende Beispiel beschränkt den Test auf zwei Versionen. Sie können jedoch bei Bedarf so viele Versionen wie nötig testen, indem Sie den Workflow entsprechend um weitere Aktivitäten ergänzen.
Gehen Sie zur Erstellung des A/B-Tests wie folgt vor:

1. Schritt: Erstellung eines Zielgruppen-Workflows

Zielgruppen-Workflows werden im Rahmen von Kampagnen im Tab Zielbestimmungen und Workflows erstellt. Im vorliegenden Beispiel enthält der Workflow eine Abfrage , eine Aufspaltung mit je einem angeschlossenen E-Mail-Versand , eine Warten -Aktivität, eine JavaScript-Code -Aktivität und einen Versand .
  1. Öffnen Sie eine existierende Kampagne oder erstellen Sie eine neue (siehe diesen Abschnitt ).
  2. Gehen Sie in den Tab Zielbestimmungen und Workflows .
  3. Klicken Sie auf Hinzufügen , um einen neuen Workflow zu erstellen oder verwenden Sie den Standard-Workflow und benennen Sie ihn. Lesen Sie diesbezüglich auch diesen Abschnitt .
  4. Ziehen Sie mit der Maus die Aktivitäten in das Workflow-Diagramm und zwar aus dem Tab Zielgruppenbestimmung eine Abfrage und eine Aufspaltung , aus dem Tab Sendungen zwei E-Mail-Versand -Aktivitäten, aus dem Tab Steuerung eine Warten -Aktivität und aus dem Tab Aktionen eine JavaScript-Code -Aktivität sowie einen Versand .********

2. Schritt: Konfiguration der Testpopulation

Konfiguration der Abfrage

  • Öffnen Sie die Abfrage per Doppelklick.
  • Klicken Sie auf den Link Abfrage bearbeiten und wählen Sie die Empfänger aus, die die Zielgruppe enthalten soll.
  • Verbinden Sie die Abfrage mit der Aufspaltung .

Konfiguration der Aufspaltung

Mithilfe dieser Aktivität werden die drei Populationen erstellt: A, B und Rest. Dank der Zufallsauswahl erhält jeweils nur ein Teil jeder Population den entsprechenden Versand.
  1. Erstellung der Testpopulation A:
    • Öffnen Sie die Aufspaltung per Doppelklick.
    • Ändern Sie den Titel für die Testpopulation A entsprechend ab.
    • Aktivieren Sie die Option Anzahl von Datensätzen begrenzen .
    • Klicken Sie auf den Link Bearbeiten , kreuzen Sie Zufallsauswahl aktivieren an und klicken Sie auf Weiter .
    • Begrenzen Sie die Testpopulation auf 10 % und klicken Sie auf Beenden .
  2. Erstellung der Testpopulation B:
    • Klicken Sie auf Hinzufügen , um einen zweiten Tab für die Testpopulation B zu erstellen.
    • Begrenzen Sie wie zuvor die Testpopulation auf 10 %.
  3. Erstellung der verbleibenden Population:
    • Gehen Sie in den Allgemein -Tab.
    • Aktivieren Sie die Option Komplement erzeugen .
    • Benennen Sie die verbleibende Population und klicken Sie auf OK , um die Aktivität zu schließen.

3. Schritt: Erstellung von zwei Versandvorlagen

Erstellen Sie nun zwei Versandvorlagen, die jeweils in einem an die Aufspaltung angeschlossenen E-Mail-Versand verwendet werden. Weiterführende Informationen finden Sie in diesem Abschnitt . Gehen Sie wie folgt vor:
  1. Gehen Sie im Navigationsbaum in den Knoten Ressourcen > Versandvorlagen .
  2. Duplizieren Sie die Vorlage E-Mail .
  3. Erstellen Sie den Inhalt Ihres Versands A.
  4. Wiederholen Sie den Vorgang zur Erstellung des Versands B.

4. Schritt: Konfiguration der Sendungen im Workflow

Der nächste Schritt besteht aus der Konfiguration der Sendungen. Sie sind für die drei Populationen bestimmt, die im vorherigen Schritt Schritt 2: Konfiguration der Testpopulation erstellt wurden. Die ersten beiden Sendungen ermöglichen es Ihnen, verschiedene Inhalte an Population A und B zu senden. Die dritte Sendung ist für jene Population bestimmt, die weder A noch B erhalten hat. Der Inhalt wird durch ein Skript berechnet und ist entweder mit A oder B identisch, je nachdem, welcher Versand die höchste Öffnungsrate erzielt hat. Wir müssen eine Wartezeit für die dritte Sendung konfigurieren, um das Ergebnis der Sendungen A und B zu ermitteln. Aus diesem Grund beinhaltet die dritte Sendung eine Aktivität vom Typ Warten .
  1. Verbinden Sie ausgehend von der Aufspaltung die Transition der Population A mit einer der E-Mail-Versand -Aktivitäten.
  2. Öffnen Sie den Versand per Doppelklick.
  3. Wählen Sie aus der Dropdown-Liste die Versandvorlage A aus.
  4. Klicken Sie auf Fortfahren und anschließend auf .
  5. Verbinden Sie ausgehend von der Aufspaltung die Transition der Population B mit der zweiten E-Mail-Versand -Aktivität.
  6. Öffnen Sie den Versand, wählen Sie die Vorlage B und speichern Sie den Versand.
  7. Verbinden Sie ausgehend von der Aufspaltung die Transition der verbleibenden Population mit der Warten -Aktivität.
  8. Öffnen Sie die Warten -Aktivität und legen Sie die Wartezeit auf 5 Tage fest.
  9. Verbinden Sie die Warten -Aktivität mit der JavaScript-Code -Aktivität.

5. Schritt: Erstellung des Scripts

Die Auswahl der Inhaltsversion, die an die verbleibende Population gesendet wird, erfolgt mithilfe eines Scripts. Das Script ruft die Information bezüglich der höchsten Öffnungsrate ab und kopiert den Inhalt der Siegerversion in den endgültigen Versand.

Script-Beispiel

Das folgende Script kann wie im Zielgruppenbestimmungs-Workflow verwendet werden. Weitere Informationen hierzu finden Sie im Abschnitt Implementierung .
 // query the database to find the winner (best open rate)
   var winner = xtk.queryDef.create(
     <queryDef schema="nms:delivery" operation="get">
       <select>
         <node expr="@id"/>
         <node expr="@label"/>
         <node expr="[@operation-id]"/>
         <node expr="[@workflow-id]"/>
       </select>
       <where>
         <condition expr={"@FCP=0 and [@workflow-id]= " + instance.id}/>
       </where>
       <orderBy>
         <node expr="[indicators/@estimatedRecipientOpenRatio]" sortDesc="true"/>
       </orderBy>
     </queryDef>).ExecuteQuery()
   
   // create a new delivery object and initialize it by doing a copy of
   // the winner delivery
   var delivery = nms.delivery.create()
   delivery.Duplicate("nms:delivery|" + winner.@id)

   // append 'final' to the delivery label
   delivery.label = winner.@label + " final"

   // link the delivery to the operation to make sure it will be displayed in
   // the campaign dashboard. This attribute needs to be set manually here since 
   // the Duplicate() method has reset it to its default value => 0
   delivery.operation_id = winner.@["operation-id"]
   delivery.workflow_id = winner.@["workflow-id"]

   // adjust some delivery parameters to make it compatible with the 
   // "Prepare and start" option selected in the Delivery tab of this activity
   delivery.scheduling.validationMode = "manual"
   delivery.scheduling.delayed = 0
 
   // save the delivery in database
   delivery.save()
 
   // store the new delivery Id in event variables
   vars.deliveryId = delivery.id

Eine ausführliche Erläuterung des Scripts finden Sie unter Script-Details .

Umsetzung

  1. Öffnen Sie die JavaScript-Code -Aktivität.
  2. Kopieren Sie das in Script-Beispiel angebotene Script in das Fenster JavaScript-Code .
  3. Geben Sie im Titel -Feld den Script-Titel ein, d. h.
    <%= vars.deliveryId %>
    
    
  4. Schließen Sie die JavaScript-Code -Aktivität.
  5. Speichern Sie den Workflow.

Script-Details

Im Folgenden werden die verschiedenen Script-Abschnitte und deren Funktionsweise erläutert.
  • Der erste Abschnitt des Scripts ist eine Abfrage. Mit dem queryDef -Befehl werden aus der Tabelle NmsDelivery die durch die Ausführung des Workflows erstellten Sendungen abgerufen und nach ihren geschätzten Öffnungsraten geordnet. Im Anschluss werden die Informationen des Versands abgerufen, der die beste Öffnungsrate erzielt hat.
    // query the database to find the winner (best open rate)
       var winner = xtk.queryDef.create(
         <queryDef schema="nms:delivery" operation="get">
           <select>
             <node expr="@id"/>
             <node expr="@label"/>
             <node expr="[@operation-id]"/>
           </select>
           <where>
             <condition expr={"@FCP=0 and [@workflow-id]= " + instance.id}/>
           </where>
           <orderBy>
             <node expr="[indicators/@estimatedRecipientOpenRatio]" sortDesc="true"/>
           </orderBy>
         </queryDef>).ExecuteQuery()
    
    
  • Der Versand mit der besten Öffnungsrate wird dupliziert.
     // create a new delivery object and initialize it by doing a copy of
     // the winner delivery
    var delivery = nms.delivery.create()
    delivery.Duplicate("nms:delivery|" + winner.@id)
    
    
  • Der Titel des duplizierten Versands wird durch Hinzufügung von final angepasst.
    // append 'final' to the delivery label
    delivery.label = winner.@label + " final"
    
    
  • Der Versand wird in das Kampagnen-Dashboard kopiert.
    // link the delivery to the operation to make sure it will be displayed in
    // the campaign dashboard. This attribute needs to be set manually here since 
    // the Duplicate() method has reset it to its default value => 0
    delivery.operation_id = winner.@["operation-id"]
    delivery.workflow_id = winner.@["workflow-id"]
    
    
    // adjust some delivery parameters to make it compatible with the 
    // "Prepare and start" option selected in the Delivery tab of this activity
    delivery.scheduling.validationMode = "manual"
    delivery.scheduling.delayed = 0
    
    
  • Der Versand wird in der Datenbank gespeichert.
    // save the delivery in database
    delivery.save()
    
    
  • Die eindeutige Kennung des duplizierten Versands wird in der Workflow-Variable gespeichert.
    // store the new delivery Id in event variables
    vars.deliveryId = delivery.id
    
    

Andere Auswahlkriterien

Im zuvor dargestellten Beispiel wird die endgültige Version anhand der Öffnungsraten der Testversionen bestimmt. Es besteht jedoch die Möglichkeit, andere Kriterien zu verwenden und das Script entsprechend anzupassen:
  • Höchste Klickrate: [indicators/@recipientClickRatio] ,
  • Höchste Reaktionsrate (Öffnung der E-Mail und Klicks in der Nachricht): [indicators/@reactivity] ,
  • Niedrigste Beschwerderate: [indicators/@refusedRatio] (Attribut sortDesc auf „false“ setzen),
  • Höchste Konversionsrate: [indicators/@transactionRatio] ,
  • Höchste Anzahl an besuchten Webseiten nach Erhalt der Nachricht: [indicators/@totalWebPage] ,
  • Niedrigste Abmelderate: [indicators/@optOutRatio] ,
  • Höchster Gesamtumsatz infolge des Erhalts der Nachricht: [indicators/@amount] .

6. Schritt - Ausgabeformat bestimmen

Nachdem das Script zur Ermittlung des Gewinners des A/B-Tests erstellt wurde, können Sie die Parameter des endgültigen Versands definieren.
  1. Verbinden Sie die Aktivität JavaScript-Code mit der restlichen Versand -Aktivität.
  2. Öffnen Sie die Versand -Aktivität.
  3. Deaktivieren Sie die Option Ausgehende Transition erzeugen , um den Workflow mit dieser Aktivität abzuschließen.
  4. Lassen Sie die Standardwerte der anderen Optionen unverändert.
Durch die Vorbereitung des in der Transition spezifizierten Versands (definiert durch die Javascript-Code -Aktivität), können Sie sie im Anschluss validieren und den Versand starten, wie im nächsten Schritt beschrieben wird.

7. Schritt: Start des Workflows

  1. Klicken Sie in der Workflow-Symbolleiste auf Start .
  2. Gehen Sie in das Kampagnen-Dashboard und validieren Sie die Zielgruppen und Inhalte der Sendungen A und B.
  3. Bestätigen Sie die Absendung der Nachrichten.
  4. Lassen Sie die Wartezeit von fünf Tagen verstreichen, um die erfolgreichste Versandversion zu ermitteln.
    Im vorliegenden Beispiel handelt es sich um die Version A.
  5. Validieren Sie Zielgruppe und Inhalt der endgültigen Version und bestätigen Sie die Absendung.

8. Schritt: Ergebnisanalyse

Nach Verarbeitung der Testsendungen besteht die Möglichkeit im Kampagnen-Dashboard zu prüfen, welche Empfänger welche Version erhalten und ob sie die Sendungen geöffnet haben. Klicken Sie auf den Link einer der Sendungen:
  • Im Versand -Tab wird angezeigt, welche Empfänger den Versand erhalten haben.
  • Im Tracking -Tab wird angezeigt, welche Empfänger den Versand geöffnet haben.
  • Vergleichen Sie die Ergebnisse beider Sendungen miteinander.
Im vorliegenden Beispiel hat der Versand A die besseren Öffnungsraten erzielt. Daher wurde der Inhalt A für den endgültigen Versand ausgewählt.