UI のデータベースソースを使用したデータフローの作成

データフローは、ソースからAdobe Experience Platformのデータセットにデータを取得して取り込む、スケジュールされたタスクです。 このチュートリアルでは、Platform UI を使用してデータベースソースのデータフローを作成する手順を説明します。

NOTE
  • データフローを作成するには、データベースソースに対する認証済みアカウントが必要です。 UI で様々なデータベースソースアカウントを作成するためのチュートリアルのリストは、次にあります ソースの概要.

  • Experience Platformでデータを取り込むには、すべてのテーブルベースのバッチソースのタイムゾーンを UTC に設定する必要があります。 でサポートされている唯一のタイムスタンプ Snowflake ソース は TIMESTAMP_NTZ (UTC 時間)。

はじめに

このチュートリアルでは、Platform の次のコンポーネントに関する十分な知識が必要です。

  • ソース:Platform を使用すると、様々なソースからデータを取り込みながら、Platform サービスを使用して受信データの構造化、ラベル付け、拡張を行うことができます。

  • Experience Data Model (XDM) システム:Experience Platform が顧客体験データの整理に使用する標準化されたフレームワーク。

  • Real-Time Customer Profile:複数のソースからの集計データに基づいて、統合されたリアルタイムの顧客プロファイルを提供します。

  • Data Prep:データエンジニアは Experience Data Model (XDM)との間でデータのマッピング、変換、検証をおこなうことができます。

データの追加

データベースソースアカウントの作成後、 データを追加 手順が表示され、データベースソースアカウントのテーブル階層を調べるためのインターフェイスが表示されます。

  • インターフェイスの左半分はブラウザーで、アカウントに含まれるデータテーブルのリストが表示されます。 このインターフェイスには、使用するソースデータをすばやく識別できる検索オプションも含まれています。
  • インターフェイスの右半分はプレビューパネルであり、最大 100 行のデータをプレビューできます。
NOTE
「ソースデータを検索」オプションは、Adobe Analyticsを除くすべてのテーブルベースのソースで使用できます。 Amazon Kinesis、および Azure Event Hubs.

ソースデータが見つかったら、テーブルを選択してから選択します .

select-data

データフローの詳細を入力

データフロー詳細ページでは、既存のデータセットと新しいデータセットのどちらを使用するかを選択できます。このプロセスでは、プロファイルデータセット、エラー診断、部分取り込み、およびアラートの設定も指定できます。

dataflow-detail

既存のデータセットを使用する

データを既存のデータセットに取り込むには、既存のデータセット ​を選択します。「詳細検索」オプションを使用するか、ドロップダウンメニューで既存のデータセットのリストをスクロールすると、既存のデータセットを取得できます。データセットを選択したら、データフローの名前と説明を入力します。

existing-dataset

新しいデータセットの使用

データを新しいデータセットに取り込むには、「新しいデータセット」を選択して、出力データセット名とオプションの説明を入力します。次に、「詳細検索」オプションを使用するか、ドロップダウンメニューで既存のスキーマのリストをスクロールして、マッピングするスキーマを選択します。スキーマを選択したら、データフローの名前と説明を指定します。

new-dataset

Profile とエラー診断の有効化

次に、 プロファイルデータセット ​切り替えスイッチを選択して、Profile のデータセットを有効にします。これにより、エンティティの属性と動作の全体像を把握できます。Profile が有効化されたすべてのデータセットのデータは Profile に含まれ、変更はデータフローを保存するときに適用されます。

エラー診断は、データフローで発生するエラーレコードに対して、詳細なエラーメッセージ生成を有効にします。部分取り込みでは、手動で定義した特定のしきい値に到達するまで、エラーを含むデータを取り込むことができます。詳しくは、バッチ取り込みの概要を参照してください。

profile-and-errors

アラートの有効化

アラートを有効にすると、データフローのステータスに関する通知を受け取ることができます。リストからアラートを選択して、データフローのステータスに関する通知を受け取るよう登録します。アラートについて詳しくは、UI を使用したソースアラートの購読についてのガイドを参照してください。

データフローへの詳細の入力を終えたら「次へ 」を選択します。

アラート

XDM スキーマへのデータフィールドのマッピング

マッピング手順が表示され、ソーススキーマのソースフィールドを、ターゲットスキーマの適切なターゲット XDM フィールドにマッピングするためのインターフェイスが提供されます。

Platform は、選択したターゲットスキーマまたはデータセットに基づいて、自動マッピングされたフィールドに対してインテリジェントなレコメンデーションを提供します。 マッピングルールは、ユースケースに合わせて手動で調整できます。 必要に応じて、フィールドを直接マッピングするか、データ準備機能を使用してソースデータを変換して計算値を導き出すかを選択できます。マッパーインターフェイスと計算フィールドの使用に関する包括的な手順については、を参照してください データ準備 UI ガイド.

ソースデータが正常にマッピングされたら、以下を選択します。 .

マッピング

取り込み実行のスケジュール

この スケジュール 手順が表示され、設定されたマッピングを使用して選択したソースデータを自動的に取り込むための取り込みスケジュールを設定できます。 デフォルトでは、スケジュールはに設定されています。 Once. 取り込み頻度を調整するには、次を選択します 頻度 ドロップダウンメニューからオプションを選択します。

TIP
1 回限りの取り込み中は、インターバルとバックフィルは表示されません。

スケジュール

取り込み頻度をに設定した場合 Minute, Hour, Day、または Weekを選択した場合は、取り込みから次の取り込みまでの間に、設定された時間枠を確立する間隔を設定する必要があります。 例えば、取り込み頻度をに設定します。 Day との間隔はに設定されます。 15 は、データフローが 15 日ごとにデータを取り込むようにスケジュールされていることを意味します。

この手順では、を有効にすることもできます バックフィル さらに、データの増分取り込みの列を定義します。 バックフィルは履歴データの取り込みに使用しますが、増分取り込みのために定義した列を使用すると、新しいデータを既存のデータと区別することができます。

スケジュール設定について詳しくは、次の表を参照してください。

フィールド
説明
頻度
取り込みが発生する頻度。 選択可能な頻度は次のとおりです Once, Minute, Hour, Day、および Week.
間隔
選択した頻度の間隔を設定する整数。 インターバルの値は 0 以外の整数で、15 以上に設定する必要があります。
開始時刻
最初の取り込みが発生するように設定されているタイミングを示す UTC タイムスタンプ。 開始時間は、現在の UTC 時間以上にする必要があります。
バックフィル
最初に取り込むデータを決定するブール値。 バックフィルが有効になっている場合、指定されたパス内の現在のすべてのファイルが、最初にスケジュールされた取り込み時に取り込まれます。 バックフィルが無効になっている場合は、最初の取り込みの実行から開始時刻の間に読み込まれたファイルのみが取り込まれます。 開始時間より前に読み込まれたファイルは取り込まれません。
増分データのロード基準
タイプ、日付、時刻のソーススキーマフィールドのフィルタリングセットを含むオプション。 選択したフィールド 増分データのロード基準 増分データを正しく読み込むには、日時値を UTC タイムゾーンに設定する必要があります。 すべてのテーブルベースのバッチソースは、差分列のタイムスタンプ値を対応するフロー実行ウィンドウの UTC 時間と比較し、UTC 時間枠内に新しいデータが見つかった場合にソースからデータをコピーすることで、増分データを選択します。

バックフィル

データフローのレビュー

レビュー ​手順が表示され、新しいデータフローを作成する前に確認できます。詳細は、次のカテゴリに分類されます。

  • 接続:ソースのタイプ、選択したソースファイルの関連パスおよびそのソースファイル内の列の数を表示します。
  • データセットの割り当てとフィールドのマッピング:ソースデータがどのデータセットに取り込まれるかを、そのデータセットが準拠するスキーマを含めて表示します。
  • スケジュール:取り込みスケジュールのアクティブな期間、頻度、間隔を表示します。

データフローをレビューしたら、「終了」を選択し、データフローが作成されるまでしばらく待ちます。

レビュー

データフローの監視

データフローを作成したら、そのデータフローを通じて取り込まれるデータをモニターすると、取り込み速度、成功、エラーに関する情報を確認できます。データフローの監視方法について詳しくは、のチュートリアルを参照してください。 ui でのアカウントとデータフローの監視.

データフローの削除

不要になったデータフローや誤って作成されたデータフローは、データフロー ​ワークスペース内にある​ 削除 ​機能で削除できます。データフローの削除方法について詳しくは、UI でのデータフローの削除のチュートリアルを参照してください。

次の手順

このチュートリアルでは、データベースソースから Platform にデータを取り込むためのデータフローを正常に作成しました。 Real-Time Customer Profile や Data Science Workspace など、ダウンストリームの Platform サービスで受信データを使用できるようになりました。詳しくは、次のドキュメントを参照してください。

recommendation-more-help
337b99bb-92fb-42ae-b6b7-c7042161d089