Show Menu
SUJETS×

Création d’un connecteur Apache Spark sur Azure HDInsights à l’aide de l’ Flow Service API

Le Apache Spark connecteur on Azure HDInsights est en version bêta. Pour plus d’informations sur l’utilisation de connecteurs bêta, consultez l’aperçu des sources.
Flow Service est utilisée pour collecter et centraliser les données client provenant de diverses sources disparates à Adobe Experience Platform. Le service fournit une interface utilisateur et une API RESTful à partir de laquelle toutes les sources prises en charge sont connectables.
Ce didacticiel utilise l’ Flow Service API pour vous guider à travers les étapes de connexion Apache Spark à Azure HDInsights (ci-après appelé "Spark") à Experience Platform.

Prise en main

Ce guide nécessite une compréhension professionnelle des composants suivants d’Adobe Experience Platform :
  • Sources : Experience Platform permet l’assimilation de données à partir de diverses sources tout en vous permettant de structurer, d’étiqueter et d’améliorer les données entrantes à l’aide de Platform services.
  • Sandbox : Experience Platform fournit des sandbox virtuels qui partitionnent une Platform instance unique en environnements virtuels distincts pour aider à développer et développer des applications d'expérience numérique.
The following sections provide additional information that you will need to know in order to successfully connect to Spark using the Flow Service API.

Collecte des informations d’identification requises

Pour Flow Service établir une connexion avec Spark, vous devez fournir des valeurs pour les propriétés de connexion suivantes :
Informations d’identification
Description
host
Adresse IP ou nom d’hôte du Spark serveur.
username
Nom d’utilisateur utilisé pour accéder au Spark serveur.
password
Mot de passe correspondant à l’utilisateur.
connectionSpec.id
Identificateur unique nécessaire pour créer une connexion. L'ID de spécification de connexion pour Spark est : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6
Pour plus d’informations sur la prise en main, reportez-vous à ce document Spark.

Lecture d’exemples d’appels API

Ce tutoriel fournit des exemples d’appels API pour démontrer comment formater vos requêtes. Il s’agit notamment de chemins d’accès, d’en-têtes requis et de payloads de requêtes correctement formatés. L’exemple JSON renvoyé dans les réponses de l’API est également fourni. For information on the conventions used in documentation for sample API calls, see the section on how to read example API calls in the Experience Platform troubleshooting guide.

Collecte des valeurs des en-têtes requis

In order to make calls to Platform APIs, you must first complete the authentication tutorial . Completing the authentication tutorial provides the values for each of the required headers in all Experience Platform API calls, as shown below:
  • Authorization: Bearer {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}
All resources in Experience Platform, including those belonging to the Flow Service, are isolated to specific virtual sandboxes. All requests to Platform APIs require a header that specifies the name of the sandbox the operation will take place in:
  • x-sandbox-name: {SANDBOX_NAME}
Toutes les requêtes qui contiennent un payload (POST, PUT, PATCH) nécessitent un en-tête de type de média supplémentaire :
  • Content-Type: application/json

Création d’une connexion

Une connexion spécifie une source et contient vos informations d’identification pour cette source. Une seule connexion est requise par Spark compte, car elle peut être utilisée pour créer plusieurs connecteurs source pour importer des données différentes.
Format d’API
POST /connections

Requête
Pour créer une Spark connexion, son identifiant de spécification de connexion unique doit être fourni dans le cadre de la demande du POST. L'ID de spécification de connexion pour Spark est 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 .
curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

Paramètre
Description
auth.params.host
The host of the Spark server.
auth.params.username
Nom d’utilisateur associé à votre Spark connexion.
auth.params.password
Mot de passe associé à votre Spark connexion.
connectionSpec.id
ID de spécification de Spark connexion : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 .
Réponse
Une réponse réussie renvoie les détails de la connexion nouvellement créée, y compris son identifiant unique ( id ). Cet identifiant est nécessaire pour explorer vos données dans le didacticiel suivant.
{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Étapes suivantes

En suivant ce didacticiel, vous avez créé une Spark connexion à l’aide de l’ Flow Service API et obtenu la valeur d’ID unique de la connexion. Vous pouvez utiliser cet identifiant dans le didacticiel suivant lorsque vous apprendrez à explorer des bases de données à l’aide de l’API Flow Service.