Show Menu
トピック×

Flow Service APIを使用してAzure HDInsights ConnectorでApache Sparkを作成する

Azure HDInsightsコネクタのApache Sparkはベータ版です。 ベータラベル付きのコネクタの使用について詳しくは、 ソースの概要 「」を参照してください。
フローサービスは、Adobe Experience Platform内のさまざまな異なるソースから顧客データを収集および一元化するために使用します。 このサービスは、ユーザーインターフェイスとRESTful APIを提供し、サポートされるすべてのソースを接続できます。
このチュートリアルでは、Flow Service APIを使用して、Azure HDInsightsのApache Spark(以下「Spark」と呼ばれる)をExperience Platformに接続する手順を順を追って説明します。

はじめに

このガイドでは、次のAdobe Experience Platformのコンポーネントについて、十分に理解している必要があります。
  • ソース : Experience Platformを使用すると、Platformサービスを使用して、様々なソースからデータを取り込み、データの構造、ラベル付け、および入力データの拡張を行うことができます。
  • サンドボックス : Experience Platformは、1つのPlatformインスタンスを別々の仮想環境に分割し、デジタルエクスペリエンスアプリケーションの開発と発展に役立つ仮想サンドボックスを提供します。
Flow Service APIを使用してSparkに正常に接続するために必要な追加情報については、以下の節で説明します。

必要な資格情報の収集

フローサービスがSparkと接続するには、次の接続プロパティの値を指定する必要があります。
Credential
説明
host
SparkサーバーのIPアドレスまたはホスト名。
username
Spark Serverへのアクセスに使用するユーザー名です。
password
ユーザーに対応するパスワード。
connectionSpec.id
接続を作成するために必要な一意の識別子。 Sparkの接続仕様IDは次のとおりです。 6a8d82bc-1caf-45d1-908d-cadabc9d63a6
使い始める方法の詳細については、 このSparkドキュメントを参照してください

サンプルAPI呼び出しの読み取り

このチュートリアルでは、リクエストをフォーマットする方法を示すAPI呼び出しの例を提供します。 例えば、パス、必須のヘッダー、適切にフォーマットされた要求ペイロードなどです。 API応答で返されるサンプルJSONも提供されます。 サンプルAPI呼び出しのドキュメントで使用される規則について詳しくは、Experience PlatformトラブルシューティングガイドのAPI呼び出し例 の読み方に関する節 を参照してください。

必要なヘッダーの値の収集

PlatformAPIを呼び出すには、まず 認証チュートリアルを完了する必要があります 。 次に示すように、Experience PlatformAPIのすべての呼び出しに必要な各ヘッダーの値を認証チュートリアルで説明します。
  • 認証: 無記名 {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}
フローサービスに属するリソースを含む、Experience Platform内のすべてのリソースは、特定の仮想サンドボックスに分離されます。 PlatformAPIへのすべてのリクエストには、操作が実行されるサンドボックスの名前を指定するヘッダーが必要です。
  • x-sandbox-name: {SANDBOX_NAME}
ペイロード(POST、PUT、PATCH)を含むすべての要求には、追加のメディアタイプヘッダーが必要です。
  • Content-Type: application/json

接続の作成

接続は、ソースを指定し、そのソースの資格情報を含みます。 Sparkアカウントごとに1つの接続のみが必要です。異なるデータを取り込むために複数のソースコネクタを作成する場合に使用できます。
API形式
POST /connections

リクエスト
Spark接続を作成するには、その一意の接続指定IDをPOST要求の一部として指定する必要があります。 Sparkの接続仕様IDはで 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 す。
curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

パラメーター
説明
auth.params.host
Sparkサーバーのホストです。
auth.params.username
Spark接続に関連付けられているユーザー名です。
auth.params.password
Spark接続に関連付けられているパスワードです。
connectionSpec.id
Spark接続指定ID: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 .
応答
正常な応答は、新たに作成された接続の詳細(一意の識別子( id )を含む)を返します。 このIDは、次のチュートリアルでデータを調べるために必要です。
{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

次の手順

このチュートリアルに従うことで、Flow Service APIを使用してSpark接続を作成し、接続の一意のID値を取得したことになります。 このIDは、Flow Service APIを使用してデータベースを 調査する方法を学習する際に、次のチュートリアルで使用できます