Show Menu
THEMEN×

Protokollquellen

Protokollquellen sind Dateien mit den Daten, die zum Erstellen eines Datensatzes verwendet werden sollen.
Die in den Protokollquellen verfügbaren Daten werden als Ereignisdaten bezeichnet, da jeder Datensatz einen Transaktionssatz oder eine einzelne Instanz eines Ereignisses darstellt. Der Data Workbench-Server kann Protokollquellen verarbeiten, die aus Daten stammen, die von anderen Datenquellen erfasst Sensors oder aus diesen extrahiert wurden.
  • Daten erfasst von Sensors: Daten, die von Sensors HTTP- und Anwendungsservern erfasst werden, werden an Data Workbench-Server übertragen, die die Daten in stark komprimierte Protokolldateien ( .vsl) konvertieren. Siehe Sensordateien .
  • Von Insight Server extrahierte Daten: Der Data Workbench-Server liest Ereignisdaten, die in einfachen Dateien, XML-Dateien oder ODBC-kompatiblen Datenbanken enthalten sind, und verwendet seine Decoder, um die gewünschten Elemente der Daten zu extrahieren. Solche Ereignisdaten müssen nicht speicherresidenz sein, aber die Datensätze, die die Daten enthalten, müssen eine Tracking-ID enthalten. Siehe Protokolldateien , XML-Protokollquellen und ODBC-Datenquellen .
So fügen Sie eine Protokollquelle hinzu
  1. Öffnen Sie Log Processing.cfg in Data Workbench.
  2. Klicken Sie mit der rechten Maustaste Log Sources und dann auf Add New .
  3. Wählen Sie eine der folgenden Optionen aus:
    • Sensor
    • Log File
    • XML Log Source
    • ODBC Data Source
  4. Die zur Definition eines Datensatzes verwendeten spezifischen Parameter variieren je nach dem Typ der Protokollquelle, die im Konfigurationsprozess des Datensatzes verwendet wird. Geben Sie die Parameter wie im Abschnitt für die entsprechende Protokollquelle angegeben an:
  5. Nachdem Sie die Protokollquelle (und Änderungen an anderen Parametern) in der Log Processing.cfg Datei definiert haben, speichern Sie die Datei lokal und speichern Sie sie im DataSet-Profil auf dem Data Workbench-Server.
    Ein Data Workbench-Server File Server Unit kann Sensor Dateien, Protokolldateien und XML-Dateien empfangen und speichern und sie an die Datenbasis-Server weiterleiten, Data Processing Units die den Datensatz erstellen. Siehe Konfigurieren einer Insight Server-Dateiservereinheit .
    Sie können die Konfiguration einer beliebigen Protokollquelle von einem Transformation Dependency Mapaus öffnen. Weitere Informationen Transformation Dependency Mapfinden Sie unter DataSet-Konfigurationstools .

Voraussetzungen

Die von Sensors HTTP- und Anwendungsservern erfassten Ereignisdaten werden an die Data Workbench-Server übertragen, die die Daten in stark komprimierte Protokolldateien ( .vsl) konvertieren. Das .vsl Dateiformat wird vom Data Workbench-Server verwaltet und jede Datei hat einen Namen im folgenden Format:
JJJJMMTT- SENSORID .VSL
wobei YJJMMTT das Datum der Datei ist und SENSORID der Name (von Ihrem Unternehmen zugewiesen), der angibt, welche Daten gesammelt und an den Data Workbench-Server übermittelt Sensor wurden.

Parameter

Für Sensor Dateien stehen die folgenden Parameter zur Verfügung:
Parameter Beschreibung
Protokollpfade
Die Ordner, in denen die .vsl -Dateien gespeichert werden. Der Standardspeicherort ist der Protokollordner. Ein relativer Pfad bezieht sich auf den Installationsordner des Data Workbench-Servers.
Mithilfe von Platzhalterzeichen können Sie angeben, welche .vsl -Dateien verarbeitet werden sollen:
  • * entspricht einer beliebigen Anzahl von Zeichen
  • ? entspricht einem einzelnen Zeichen
Beispielsweise stimmt der Protokollpfad Logs\*.vsl mit allen Dateien im Verzeichnis Protokolle, die in .vsl enden, überein. Der Protokollpfad Logs\*-SENSOR?.vsl stimmt mit Dateien im Protokollverzeichnis mit jedem Datum (JJJMMTT) und einem einzelnen Zeichen nach SENSOR überein, wie in SENSOR1.
Wenn Sie alle Unterordner des angegebenen Pfads durchsuchen möchten, müssen Sie den Parameter "Umkehren"auf "true"setzen.
Hinweis: Wenn die Dateien von der File Server Unit eines Data Workbench-Servers gelesen werden sollen, müssen Sie die entsprechenden URI(s) im Parameter Log Paths eingeben. Beispielsweise stimmt der URI /Logs/*-*.vsl mit jeder .vsl -Datei im Protokollordner überein. Siehe Konfigurieren einer Insight Server-Dateiservereinheit .
Protokollserver Informationen (Adresse, Name, Anschluss usw.), die zum Herstellen einer Verbindung mit einem Dateiserver erforderlich sind. Wenn der Parameter "Log Server"einen Eintrag enthält, werden die Protokollpfade als URIs interpretiert. Andernfalls werden sie als lokale Pfade interpretiert. Siehe Konfigurieren einer Insight Server-Dateiservereinheit .
Protokollquelle-ID
Der Wert dieses Parameters kann eine beliebige Zeichenfolge sein. Wenn ein Wert angegeben wird, können Sie mit diesem Parameter Protokolleinträge von verschiedenen Protokollquellen zur Quellidentifizierung oder gezielten Verarbeitung unterscheiden. Das Feld x-log-source-id wird mit einem Wert gefüllt, der die Protokollquelle für jeden Protokolleintrag identifiziert. Wenn Sie z. B. Protokolleinträge eines Sensors mit dem Namen VSensor01 identifizieren möchten, können Sie von VSensor01 eingeben. Diese Zeichenfolge wird für jeden Protokolleintrag aus dieser Quelle an das Feld x-log-source-id übergeben.
Informationen zum Feld x-log-source-id finden Sie unter Ereignisdatensatzfelder .
Rekursiv True oder false. Bei der Einstellung "true"werden alle Unterordner jedes in " Protokollpfade "angegebenen Pfads nach Dateien durchsucht, die dem angegebenen Dateinamen oder Platzhaltermuster entsprechen. Der Standardwert ist „false“.
Start-/Endzeit verwenden
True oder false. Wenn "true"und "Start- oder Endzeit"festgelegt sind, müssen alle Dateien für diese Protokollquelle Dateinamen haben, die mit Datumsangaben im ISO-Format (JJJMMTT) beginnen. Es wird davon ausgegangen, dass jede Datei Daten für einen GMT-Tag enthält (z. B. der Zeitraum, der an einem Tag bei 0000 GMT beginnt und am folgenden Tag bei 0000 GMT endet). Wenn die Protokollquellen-Dateien Daten enthalten, die keinem GMT-Tag entsprechen, muss dieser Parameter auf "false"gesetzt werden, um falsche Ergebnisse zu vermeiden.
Hinweis: Standardmäßig entsprechen .vsl- Dateien, die von Sensor erfasste Daten enthalten, automatisch den oben beschriebenen Benennungs- und Zeitbereichsanforderungen. Wenn Sie diesen Parameter auf "true"setzen, verarbeitet der Data Workbench-Server immer Daten aus Dateien, deren Namen ISO-Daten enthalten, die zwischen der angegebenen Startzeit und der angegebenen Endzeit liegen. Wenn Sie diesen Parameter auf "false"setzen, liest der Data Workbench-Server während der Protokollverarbeitung alle .vsl -Dateien, um zu ermitteln, welche Dateien Daten im Bereich "Startzeit"und "Endzeit"enthalten.
Informationen zu den Parametern für die Start- und Endzeit finden Sie unter Datenfilter .
Verwenden Sie nicht die Konfigurationsparameter für Sensor Datenquellen, um zu bestimmen, welche Protokolleinträge in einer Protokolldatei in einen Datensatz aufgenommen werden sollen. Richten Sie stattdessen die Datenquelle so ein, dass sie auf alle Protokolldateien in einem Ordner verweist. Verwenden Sie dann die Parameter "Startzeit"und "Endzeit", Log Processing.cfg um zu bestimmen, welche Protokolleinträge bei der Erstellung des Datensatzes verwendet werden sollen. Siehe Datenfilter .
Die Datei mit den Ereignisdaten muss die folgenden Anforderungen erfüllen:
  • Jeder Ereignisdatensatz in der Datei muss durch eine Zeile dargestellt werden.
  • Die Felder in einem Datensatz müssen durch ein ASCII-Trennzeichen getrennt werden, unabhängig davon, ob sie leer sind oder nicht. Für den Data Workbench-Server müssen Sie kein bestimmtes Trennzeichen verwenden. Sie können jedes Zeichen verwenden, das kein Zeilenendezeichen ist und nicht an einer beliebigen Stelle in den Ereignisdaten selbst erscheint.
  • Jeder Datensatz in der Datei muss Folgendes enthalten:
    • Eine Tracking-ID
    • Ein Zeitstempel
  • Um Start- und Endzeiten für die Datenverarbeitung anzugeben, muss jeder Dateiname im folgenden Format stehen:
    • YYYYMMDD-SOURCE.log
    wobei JJJMMTT der GMT-Tag aller Daten in der Datei ist und SOURCE eine Variable ist, die die Quelle der in der Datei enthaltenen Daten identifiziert.
    Wenden Sie sich an Adobe Consulting Services, um eine Übersicht der Protokolldateien zu erhalten, die Sie in den Datensatz aufnehmen möchten.

Parameter

Für Protokolldateien stehen die Parameter in der folgenden Tabelle zur Verfügung.
Die Verarbeitung von Protokollquellen für Protokolldateien erfordert zusätzliche Parameter, die in einer Log Processing Dataset Include Log Processing.cfg Datei definiert sind, die eine Untergruppe der in einer Datei enthaltenen Parameter sowie spezielle Parameter zum Definieren von Decodern zum Extrahieren von Daten aus der Protokolldatei enthält. Informationen zum Definieren von Decodern für Protokollquellen für Protokolldateien finden Sie unter Textdatei-Decoder-Gruppen .
Parameter Beschreibung
Name Der Bezeichner für die Protokolldateiquelle.
Protokollpfade
Die Ordner, in denen die Protokolldateien gespeichert werden. Der Standardspeicherort ist der Protokollordner. Ein relativer Pfad bezieht sich auf den Installationsordner des Data Workbench-Servers.
Mithilfe von Platzhalterzeichen können Sie angeben, welche Protokolldateien verarbeitet werden sollen:
  • * entspricht einer beliebigen Anzahl von Zeichen.
  • ? entspricht einem einzelnen Zeichen.
Beispielsweise stimmt der Protokollpfad Logs\*.log mit allen Dateien im Protokollordner überein, die in .log enden.
Wenn Sie alle Unterordner des angegebenen Pfads durchsuchen möchten, müssen Sie den Parameter "Umkehren"auf "true"setzen.
Wenn die Dateien von der File Server Unit eines Data Workbench-Servers gelesen werden sollen, müssen Sie die entsprechenden URI(s) im Parameter Log Paths eingeben. Beispielsweise stimmt der URI/Protokolle/*.log mit jeder beliebigen .log -Datei im Protokollordner überein. Siehe Konfigurieren einer Insight Server-Dateiservereinheit .
Protokollserver Informationen (Adresse, Name, Anschluss usw.), die zum Herstellen einer Verbindung mit einem Dateiserver erforderlich sind. Wenn der Parameter "Log Server"einen Eintrag enthält, werden die Protokollpfade als URIs interpretiert. Andernfalls werden sie als lokale Pfade interpretiert. Siehe Konfigurieren einer Insight Server-Dateiservereinheit .
komprimiert True oder false. Dieser Wert sollte auf "true"gesetzt werden, wenn die vom Data Workbench-Server zu lesenden Protokolldateien komprimierte GZIP-Dateien sind.
Decoder-Gruppe Der Name der Textdatei-Decoder-Gruppe, die auf die Protokollquelle der Protokolldatei angewendet werden soll. Dieser Name muss exakt mit dem Namen der entsprechenden Textdatei-Decoder-Gruppe übereinstimmen, die in der Datei " Log Processing DataSet Include"angegeben ist . Siehe Textdatei-Decoder-Gruppen .
Protokollquelle-ID
Der Wert dieses Parameters kann eine beliebige Zeichenfolge sein. Wenn ein Wert angegeben wird, können Sie mit diesem Parameter Protokolleinträge von verschiedenen Protokollquellen zur Quellidentifizierung oder gezielten Verarbeitung unterscheiden. Das Feld x-log-source-id wird mit einem Wert gefüllt, der die Protokollquelle für jeden Protokolleintrag identifiziert. Wenn Sie beispielsweise Protokolleinträge aus einer Protokolldatei-Quelle mit dem Namen LogFile01 identifizieren möchten, können Sie aus LogFile01 eingeben. Diese Zeichenfolge wird für jeden Protokolleintrag aus dieser Quelle an das Feld x-log-source-id übergeben.
Informationen zum Feld x-log-source-id finden Sie unter Ereignisdatensatzfelder .
Maskenmuster
Ein regulärer Ausdruck mit einem einzigen erfassten Submuster, das einen konsistenten Namen extrahiert, der zur Identifizierung der Quelle einer Reihe von Protokolldateien verwendet wird. Nur der Dateiname wird berücksichtigt. Der Pfad und die Erweiterung werden bei der Suche nach regulären Ausdrücken nicht berücksichtigt. Wenn Sie kein Maskenmuster angeben, wird automatisch eine Maske generiert.
Für die Dateien Logs\010105server1.log und Logs\010105server2.log lautet das Maskenmuster [0-9]{6}(.*). Dieses Muster extrahiert die Zeichenfolge "server1"oder "server2"aus den Dateinamen oben.
Rekursiv True oder false. Wenn dieser Parameter auf "true"gesetzt ist, werden alle Unterordner jedes in " Protokollpfade "angegebenen Pfads nach Dateien durchsucht, die dem angegebenen Dateinamen oder dem Platzhaltermuster entsprechen. Der Standardwert ist „false“.
Datei ablehnen Der Pfad und der Dateiname der Datei mit den Protokolleinträgen, die die Bedingungen des Decoders nicht erfüllen.
Start-/Endzeit verwenden
True oder false. Wenn dieser Parameter auf "true"gesetzt ist und Startzeit oder Endzeit angegeben ist, müssen alle Dateien für diese Protokollquelle Dateinamen haben, die mit Datumsangaben im ISO-Format (JJJJMMTT) beginnen. Es wird davon ausgegangen, dass jede Datei Daten für einen GMT-Tag enthält (z. B. der Zeitraum, der an einem Tag bei 0000 GMT beginnt und am folgenden Tag bei 0000 GMT endet). Wenn die Dateinamen der Protokollquellen nicht mit ISO-Daten beginnen oder wenn die Dateien Daten enthalten, die keinem GMT-Tag entsprechen, muss dieser Parameter auf "false"gesetzt werden, um falsche Ergebnisse zu vermeiden.
Hinweis: Wenn die oben beschriebenen Benennungs- und Zeitbereichsanforderungen für die Protokolldateien erfüllt sind und Sie diesen Parameter auf "true"setzen, beschränkt die angegebene Textdatei-Dekodierergruppe die gelesenen Dateien auf diejenigen Dateien, deren Namen ISO-Daten haben, die zwischen der angegebenen Startzeit und Endzeit liegen. Wenn Sie diesen Parameter auf "false"setzen, liest der Data Workbench-Server alle Protokolldateien während der Protokollverarbeitung, um zu ermitteln, welche Dateien Daten im Bereich "Startzeit"und "Endzeit"enthalten.
Informationen zu den Parametern für die Start- und Endzeit finden Sie unter Datenfilter .
In diesem Beispiel wird der Datensatz aus zwei Arten von Protokollquellen erstellt.
Protokollquelle 0 gibt Protokolldateien an, die aus Ereignisdaten generiert wurden, die von Sensorerfasst wurden. Diese Datenquelle verweist auf einen Ordner namens "Logs"und auf alle Dateien in diesem Ordner mit einer .vsl Dateinamenerweiterung.
Die Protokollquelle 1 verweist auf alle Dateien im Ordner "Protokolle"mit einer .txt Dateinamenerweiterung. Die Decoder-Gruppe für diese Protokollquelle heißt "Textprotokolle".
Sie sollten keine Protokolldateien löschen oder verschieben, nachdem die Datenquellen für einen Datensatz definiert wurden. Dem Verzeichnis der Datenquellen sollten nur neu erstellte Protokolldateien hinzugefügt werden.
Die Datei mit den Ereignisdaten muss die folgenden Anforderungen erfüllen:
  • Ereignisdaten müssen in eine ordnungsgemäß formatierte XML-Datei mit entsprechenden Beziehungen zwischen über- und untergeordnet aufgenommen werden.
  • Für jedes XML-Dateiformat muss eine eindeutige Decoder-Gruppe vorhanden sein. Informationen zum Erstellen einer Decoder-Gruppe finden Sie unter XML Decoder-Gruppen .
  • Jeder Besucherdatensatz in der Datei muss Folgendes enthalten:
    • Eine Tracking-ID
    • Ein Zeitstempel
  • Um Start- und Endzeiten für die Datenverarbeitung anzugeben, muss jeder Dateiname im Formular angegeben werden
YYYYMMDD-SOURCE.log
wobei JJJMMTT der GMT-Tag aller Daten in der Datei ist und SOURCE eine Variable ist, die die Quelle der in der Datei enthaltenen Daten identifiziert.
Ein Beispiel für eine XML-Datei, die diese Anforderungen erfüllt, finden Sie unter XML Decoder-Gruppen .
Bitte wenden Sie sich an Adobe Consulting Services, um eine Übersicht der XML-Protokolldateien zu erhalten, die Sie in den Datensatz aufnehmen möchten.

Parameter

Für XML-Protokollquellen sind die Parameter in der folgenden Tabelle verfügbar.
Für die Verarbeitung von XML-Protokollquellen sind zusätzliche Parameter erforderlich, die in einer Log Processing Dataset Include Datei definiert sind, die eine Untergruppe der in einer Log Processing.cfg Datei enthaltenen Parameter sowie spezielle Parameter zum Definieren von Decodern zum Extrahieren von Daten aus der XML-Datei enthalten. Informationen zum Definieren von Decodern für XML-Protokollquellen finden Sie unter XML Decoder-Gruppen .
Feld Beschreibung
Name Der Bezeichner für die XML-Protokollquelle.
Protokollpfade
Die Ordner, in denen die XML-Protokollquellen gespeichert werden. Der Standardspeicherort ist der Protokollordner. Ein relativer Pfad bezieht sich auf den Installationsordner des Data Workbench-Servers.
Mithilfe von Platzhalterzeichen können Sie angeben, welche XML-Protokollquellen verarbeitet werden sollen:
  • * entspricht einer beliebigen Anzahl von Zeichen
  • ? entspricht einem einzelnen Zeichen
Beispielsweise stimmt der Protokollpfad Logs\*.xml mit allen Dateien im Verzeichnis Protokolle, die in .xml enden, überein.
Wenn Sie alle Unterverzeichnisse des angegebenen Pfades durchsuchen möchten, müssen Sie das Feld " Rekursiv "auf "true"setzen.
Hinweis: Wenn die Dateien von der Dateiservereinheit eines Data Workbench-Servers gelesen werden sollen, müssen Sie die entsprechenden URI(s) in das Feld " Protokollpfade "eingeben. Beispielsweise stimmt die Datei " URI/Protokolle/*.xml "mit jeder beliebigen .xml -Datei im Ordner "Protokolle"überein. Siehe Konfigurieren einer Insight Server-Dateiservereinheit .
Protokollserver Informationen (Adresse, Name, Anschluss usw.), die zum Herstellen einer Verbindung mit einem Dateiserver erforderlich sind. Wenn sich im Feld Protokollserver ein Eintrag befindet, werden die Protokollpfade als URIs interpretiert. Andernfalls werden sie als lokale Pfade interpretiert. Siehe Konfigurieren einer Insight Server-Dateiservereinheit .
komprimiert True oder false. Dieser Wert sollte auf "true"gesetzt werden, wenn die XML-Protokollquellen, die vom Data Workbench-Server gelesen werden sollen, komprimierte GZIP-Dateien sind.
Decoder-Gruppe Der Name der XML-Decoder-Gruppe, die auf die XML-Protokollquelle angewendet werden soll. Dieser Name muss exakt mit dem Namen der entsprechenden XML-Decoder-Gruppe übereinstimmen, die in der Datei " Log Processing DataSet Include"angegeben ist . Siehe XML Decoder-Gruppen .
Protokollquelle-ID
Der Wert dieses Felds kann eine beliebige Zeichenfolge sein. Wenn ein Wert angegeben ist, können Sie mit diesem Feld Protokolleinträge von verschiedenen Protokollquellen zur Quellidentifizierung oder gezielten Verarbeitung unterscheiden. Das Feld x-log-source-id wird mit einem Wert gefüllt, der die Protokollquelle für jeden Protokolleintrag identifiziert. Wenn Sie beispielsweise Protokolleinträge aus einer Protokolldatei-Quelle mit dem Namen XMLFile01 identifizieren möchten, können Sie XMLFile01 eingeben und diese Zeichenfolge wird für jeden Protokolleintrag aus dieser Quelle an das Feld x-log-source-id übergeben.
Informationen zum Feld x-log-source-id finden Sie unter Ereignisdatensatzfelder .
Maskenmuster
Ein regulärer Ausdruck mit einem einzigen erfassten Submuster, das einen konsistenten Namen extrahiert, der zur Identifizierung der Quelle einer Reihe von Protokolldateien verwendet wird. Nur der Dateiname wird berücksichtigt. Der Pfad und die Erweiterung werden bei der Suche nach regulären Ausdrücken nicht berücksichtigt. Wenn Sie kein Maskenmuster angeben, wird automatisch eine Maske generiert.
Für die Dateien Logs\010105server1.xml und Logs\010105server2.xml lautet das Maskenmuster [0-9]{6}(.*). Dieses Muster extrahiert die Zeichenfolge "server1"oder "server2"aus den Dateinamen oben.
Rekursiv True oder false. Wenn dieser Parameter auf "true"gesetzt ist, werden alle Unterordner jedes in " Protokollpfade "angegebenen Pfads nach Dateien durchsucht, die dem angegebenen Dateinamen oder dem Platzhaltermuster entsprechen. Der Standardwert ist „false“.
Datei ablehnen Der Pfad und der Dateiname der Datei mit den Protokolleinträgen, die die Bedingungen des Decoders nicht erfüllen.
Start-/Endzeit verwenden
True oder false. Wenn dieser Parameter auf "true"gesetzt ist und Startzeit oder Endzeit angegeben ist, müssen alle Dateien für diese Protokollquelle Dateinamen haben, die mit Datumsangaben im ISO-Format (JJJJMMTT) beginnen. Es wird davon ausgegangen, dass jede Datei Daten für einen GMT-Tag enthält (z. B. der Zeitraum, der an einem Tag bei 0000 GMT beginnt und am folgenden Tag bei 0000 GMT endet). Wenn die Dateinamen der Protokollquellen nicht mit ISO-Daten beginnen oder wenn die Dateien Daten enthalten, die keinem GMT-Tag entsprechen, muss dieser Parameter auf "false"gesetzt werden, um falsche Ergebnisse zu vermeiden.
Hinweis: Wenn die oben beschriebenen Benennungs- und Zeitbereichsanforderungen für die XML-Dateien erfüllt sind und Sie diesen Parameter auf "true"setzen, beschränkt die angegebene XML-Decoder-Gruppe die gelesenen Dateien auf die Dateien, deren Namen ISO-Daten haben, die zwischen der angegebenen Startzeit und Endzeit liegen. Wenn Sie diesen Parameter auf "false"setzen, liest der Data Workbench-Server alle XML-Dateien während der Protokollverarbeitung, um zu ermitteln, welche Dateien Daten im Bereich "Startzeit"und "Endzeit"enthalten.
Informationen zu den Parametern für die Start- und Endzeit finden Sie unter Datenfilter .
Sie sollten keine XML-Protokollquellen löschen oder verschieben, nachdem die Datenquellen für einen Datensatz definiert wurden. Dem Verzeichnis der Datenquellen sollten nur neu erstellte XML-Dateien hinzugefügt werden.
Der Avro-Datenfeed bietet eine effizientere Möglichkeit, Daten in Data Workbench zu integrieren:
  • Avro bietet ein Einzelquellenformat für Traffic- und Commerce-Daten.
  • Der Avro-Feed ist komprimierte Daten aus mehreren Quellchunken, die pro Tag bereitgestellt werden. Es bietet nur ausgefüllte Felder und Funktionen zur Überwachung und Benachrichtigung, Zugriff auf historische Daten und automatische Wiederherstellung.
  • Das Schema, ein selbstdefiniertes Layout von Avro-Protokolldateien, wird am Anfang jeder Datei eingefügt.
  • Neue Felder werden mit unterstützenden Informationen hinzugefügt, um Daten aus Data Workbench zu erfassen, ohne dass Änderungen am Decoder erforderlich sind. Dazu gehören:
    • eVars: 1-250 (früher 1-75)
    • Benutzerspezifische Ereignisse: 1-1000 (versus 1-100)
    • Zugriff auf Lösungsvariablen für mobile, soziale und Videodaten
Darüber hinaus ermöglicht die Verwendung des Avro-Feeds den sofortigen Zugriff auf alle neuen Felder im Feed ohne Herunterfahren, sodass die Felder ohne Dienststundenanforderungen aktualisiert werden können.
Der Avro-Datenfeed wird in separaten Dateien eingerichtet:
  • Eine Avro-Protokolldatei : Dies ist das Avro-Protokollformat, das vom Decoder zur Formatierung von Traffic- und Commerce-Daten generiert wurde.
  • Eine Avro Decoder-Datei : Mit dieser Datei können Sie Werte dem neuen Avro-Format zuordnen. Sie können den Decoder mit dem Assistenten Avro Decoder einrichten.

Avro Decoder-Assistent

Mit diesem Assistenten wird die Avro-Decoder-Protokolldatei eingerichtet.
Klicken Sie zum Öffnen mit der rechten Maustaste auf einen Arbeitsbereich und wählen Sie " Admin "> " Assistenten "> " Avro Decoder-Assistent ".
Schritt 1: Wählen Sie eine Avro-Protokolldatei aus.
In diesem Schritt können Sie eine Quelldatei für das Avro-Schema auswählen. Auf Schemas kann von einer Protokolldatei (.log) oder einer vorhandenen Decoder-Datei (.avro) zugegriffen werden. Schemas können aus beiden Dateien gezogen werden.
Avro-Protokolldatei
Klicken Sie auf , um eine Protokolldatei (.log) zu öffnen, um das Schema oben in der Protokolldatei anzuzeigen und eine Decoder-Datei zu generieren.
Avro Decoder-Datei
Klicken Sie auf , um das Schema einer vorhandenen Decoder-Datei (.avro) zu öffnen und zu bearbeiten.
Schritt 2: Wählen Sie Eingabefelder .
Wählen Sie die Eingabefelder aus, die im Datensatz verwendet werden sollen, um die Protokollverarbeitung zu durchlaufen. Alle Felder in der Datei werden angezeigt, sodass Sie Felder für den Feed auswählen können.
Ein x-product(Generates row) Feld wird bereitgestellt, wenn ein Array in den Daten gefunden wird. Dieses Feld generiert neue Zeilen für die verschachtelten Daten in einem Array als Eingabefelder. Wenn Sie beispielsweise eine Trefferzeile mit vielen Produktwerten in einem Array haben, werden Zeilen in der Eingabedatei für jedes Produkt generiert.
Standardeinstellungen auswählen
Wählen Sie Felder aus, die als Standardsatz von Standardfeldern identifiziert werden sollen.
Alle auswählen
Wählen Sie alle Felder in der Datei aus.
Auswahl aufheben
Löschen Sie alle Felder in der Datei.
Schritt 3: Wählen Sie die Felder aus, die kopiert werden, um Zeilen zu generieren.
Da neue Zeilen aus verschachtelten Werten in einem Array erstellt werden können, muss jede neu erstellte Zeile über eine Verfolgungs-ID und einen Zeitstempel verfügen. Mit diesem Schritt können Sie die Felder auswählen, die aus dem übergeordneten Datensatz in Zeilen kopiert werden sollen, z. B. eine Verfolgungs-ID und einen Zeitstempel. Sie können auch andere Werte auswählen, die jeder Zeile hinzugefügt werden sollen.
Standardeinstellungen auswählen
Wählen Sie einen Standardsatz von Standardfeldern aus, für die jeder Zeile neue Spaltenwerte hinzugefügt werden müssen, z. B. eine Verfolgungs-ID und einen Zeitstempel. Ein hit_source Feld ist beispielsweise ein Standardwert, der jeder neuen Zeile hinzugefügt werden muss (er wird als Standardwert in der Liste definiert). Sie können jeder Zeile nach Bedarf weitere Spaltenwerte hinzufügen.
Alle auswählen
Wählen Sie alle Felder in der Datei aus.
Auswahl aufheben
Löschen Sie alle Felder in der Datei.
Verwenden Sie das Feld Suchen , um Werte in der Liste zu suchen.
Schritt 4: Festlegen des Decoder-Namens
Weisen Sie der Gruppe der Felder einen Namen zu und speichern Sie sie als Decoder-Datei. Der Name sollte mit dem in Ihrer Protokollquelle angegebenen Decoder-Gruppennamen übereinstimmen.
Schritt 5: Speichern Sie die Decoder-Datei.
Das Dateimenü wird geöffnet, um die Decoder-Datei zu benennen und als .cfg Datei im Ordner Protokolle zu speichern.