Show Menu
SUJETS×

Création d'un Apache Spark sur le connecteur Azure HDInsights à l'aide de l'API Flow Service

Apache Spark sur Azure HDInsights connector est en version bêta. Les fonctionnalités et la documentation peuvent être modifiées.
Le service de flux permet de collecter et de centraliser les données client à partir de diverses sources disparates dans Adobe Experience Platform. Le service fournit une interface utilisateur et une API RESTful à partir de laquelle toutes les sources prises en charge sont connectables.
Ce didacticiel utilise l'API Flow Service pour vous guider à travers les étapes permettant de connecter Apache Spark sur Azure HDInsights (ci-après appelé "Spark") à Experience Platform.

Prise en main

Ce guide nécessite une bonne compréhension des composants suivants d’Adobe Experience Platform :
  • Sources : Experience Platform permet d’importer des données à partir de diverses sources tout en vous permettant de structurer, d’étiqueter et d’améliorer les données entrantes à l’aide des services de la plate-forme.
  • Sandbox : Experience Platform fournit des sandbox virtuels qui partitionnent une instance de plateforme unique en environnements virtuels distincts pour aider à développer et à développer des applications d’expérience numérique.
Les sections suivantes contiennent des informations supplémentaires dont vous aurez besoin pour vous connecter à Spark à l’aide de l’API de service de flux.

Collecte des informations d’identification requises

Pour que le service de flux se connecte à Spark, vous devez fournir des valeurs pour les propriétés de connexion suivantes :
Informations d’identification
Description
host
Adresse IP ou nom d’hôte du serveur Spark.
username
Nom d’utilisateur utilisé pour accéder à Spark Server.
password
Mot de passe correspondant à l’utilisateur.
connectionSpec.id
Identificateur unique nécessaire pour créer une connexion. L’ID de spécification de connexion pour Spark est : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6
Pour plus d’informations sur la prise en main, reportez-vous à ce document Spark.

Lecture des exemples d’appels d’API

Ce didacticiel fournit des exemples d’appels d’API pour montrer comment formater vos requêtes. Il s’agit notamment des chemins d’accès, des en-têtes requis et des charges de requête correctement formatées. L’exemple JSON renvoyé dans les réponses de l’API est également fourni. Pour plus d’informations sur les conventions utilisées dans la documentation pour les exemples d’appels d’API, voir la section sur comment lire des exemples d’appels d’API dans le guide de dépannage d’Experience Platform.

Rassembler les valeurs des en-têtes requis

Pour lancer des appels aux API de plateforme, vous devez d’abord suivre le didacticiel d’ authentification. Le didacticiel d’authentification fournit les valeurs de chacun des en-têtes requis dans tous les appels d’API de plateforme d’expérience, comme indiqué ci-dessous :
  • Autorisation : Porteur {ACCESS_TOKEN}
  • x-api-key : {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}
Toutes les ressources de la plate-forme d’expérience, y compris celles appartenant au service de flux, sont isolées dans des sandbox virtuels spécifiques. Toutes les requêtes d’API de plateforme nécessitent un en-tête spécifiant le nom du sandbox dans lequel l’opération aura lieu :
  • x-sandbox-name : {SANDBOX_NAME}
Toutes les requêtes qui contiennent une charge utile (POST, PUT, PATCH) nécessitent un en-tête de type de support supplémentaire :
  • Content-Type : application/json

Création d’une connexion

Une connexion spécifie une source et contient vos informations d’identification pour cette source. Une seule connexion est requise par compte Spark, car elle peut être utilisée pour créer plusieurs connecteurs source afin d’importer des données différentes.
Format d’API
POST /connections

Requête
Pour créer une connexion Spark, son identifiant de spécification de connexion unique doit être fourni dans le cadre de la demande POST. L’ID de spécification de connexion pour Spark est 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 valide.
curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

Paramètre
Description
auth.params.host
Hôte du serveur Spark.
auth.params.username
Nom d’utilisateur associé à votre connexion Spark.
auth.params.password
Mot de passe associé à votre connexion Spark.
connectionSpec.id
ID de spécification de connexion Spark : 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 .
Réponse
Une réponse réussie renvoie les détails de la connexion nouvellement créée, y compris son identifiant unique ( id ). Cet identifiant est nécessaire pour explorer vos données dans le didacticiel suivant.
{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Étapes suivantes

En suivant ce didacticiel, vous avez créé une connexion Spark à l’aide de l’API Flow Service et obtenu la valeur d’ID unique de la connexion. Vous pouvez utiliser cet identifiant dans le didacticiel suivant lorsque vous apprendrez à explorer des bases de données à l’aide de l’API Flow Service.