Show Menu
トピック×

Catalog Service 概要

Catalog Service は、Adobe Experience Platform内のデータの位置と系統に関する記録システムです。 While all data that is ingested into Experience Platform is stored in the Data Lake as files and directories, Catalog holds the metadata and description of those files and directories for lookup and monitoring purposes.
Simply put, Catalog acts as a metadata store or "catalog" where you can find information about your data within Experience Platform. You can use Catalog to answer the following questions:
  • データの場所
  • データが処理のどの段階であるか。
  • データに対してどのようなシステムまたはプロセスが作用しているか。
  • 正常に処理されたデータの量
  • 処理中に発生したエラー
Catalog には、基本的なCRUD操作を使用してメタデータをプログラムで管理できるRESTful APIが用意されています。 Platform 詳しくは、『 カタログ開発者ガイド 』を参照してください。

Catalog および Experience Platform サービス

The resources that Catalog Service tracks are used by multiple Experience Platform services. In order to make the most of Catalog's capabilities, it is recommended that you become familiar with these services and how they interact with Catalog.

Experience Data Model (XDM)システム

Experience Data Model (XDM)システムは、顧客体験データを Platform 編成する標準化されたフレームワークです。 Experience Platform は、XDM スキーマを活用して、一貫した再利用可能な方法でデータの構造を記述します。
When data is ingested into Platform, the structure of that data is mapped to an XDM schema and stored within the Data Lake as part of a dataset . The metadata for each dataset is tracked by Catalog Service, which includes a reference to the XDM schema that the dataset conforms to.
XDM システムの一般的な情報については、「 XDM システムの概要 」を参照してください。

Data Ingestion

Experience Platform 複数のソースからデータを取り込み、レコードをデータセットとして内に保持 Data Lakeします。 Catalog 取り込み元や取り込み方法に関係なく、これらのデータセットのメタデータを追跡します。
When using the batch ingestion method, Catalog also tracks additional metadata for batch files. バッチとは、単一の単位として取得される 1 つ以上のファイルで構成されるデータの単位です。Catalog これらのバッチファイルのメタデータと、取り込み後に保持されるデータセットを追跡します。 バッチメタデータには、正常に取得されたレコードの数、失敗したレコードおよび関連するエラーメッセージに関する情報が含まれます。
詳しくは、「 データ取得の概要 」を参照してください。

Catalog オブジェクト

As outlined in the previous section, Catalog tracks metadata for several kinds of resources and operations that are used by other Platform services. Catalog は、このメタデータをカプセル化する「オブジェクト」の独自のストアを維持します。 Catalog オブジェクトは Platform データをクエリー可能に表したもので、データ自体にアクセスする必要なく、データの検索、監視、ラベル付けを行うことができます。
The following table outlines the different object types supported by Catalog:
オブジェクト
API エンドポイント
定義
アカウント
/accounts
ソース接続を作成する場合は、認証資格情報を指定する必要があります。アカウントは、特定の種類の接続の作成に使用された認証資格情報のコレクションを表します。Each connection has a set of unique parameters that are persisted by Catalog and secured in an Azure Key Vault.
バッチ
/batches
バッチとは、単一の単位として取得される 1 つ以上のファイルで構成されるデータの単位です。A batch object in Catalog outlines the batch's ingestion metrics (such as the number of records processed or size on disk) and may also include links to datasets, views, and other resources that were affected by the batch operation.
接続
/connections
接続はソースコネクタの単一インスタンスです。接続は組織に固有で、コネクタの種類に適した認証資格情報を使用して構成されます。
コネクタ
/connectors
Connectors define how source connections are to gather data from other Adobe applications (such as Adobe Analytics and Adobe Audience Manager), third-party cloud storage sources (such as Azure Blob, Amazon S3, FTP servers, and SFTP servers), and third-party CRM systems (such as Microsoft Dynamics and Salesforce).
データセット
/dataSets
データセットは、スキーマ(列)とフィールド(行)を含むデータ(通常はテーブル)の収集に使用されるストレージと管理の構成体です。See the datasets overview for more information.
データセットファイル
/datasetFiles
Dataset files represent blocks of data that has been saved on Platform. リテラルファイルのレコードについては、ファイルのサイズ、ファイルに含まれるレコードの数、およびファイルを取得したバッチへの参照を見つけることができます。

次の手順

This document provided an introduction to Catalog Service and how it functions within the greater scope of Experience Platform. See the Catalog developer guide for steps on interacting with the different endpoints of that Catalog API. API 応答で返されるデータを制限するベストプラクティスに従うために、 カタログデータのフィルタリング に関するガイドも参照することをお勧めします。