Show Menu
ARGOMENTI×

Creare un Apache Spark connettore Azure HDInsights utilizzando l' Flow Service API

Il Apache Spark connettore on Azure HDInsights è in versione beta. Per ulteriori informazioni sull'utilizzo dei connettori con etichetta beta, consulta la panoramica Termini e condizioni Origini.
Flow Service viene utilizzato per raccogliere e centralizzare i dati dei clienti da varie origini all'interno di Adobe Experience Platform. Il servizio fornisce un'interfaccia utente e RESTful API da cui sono collegate tutte le origini supportate.
Questa esercitazione utilizza l' Flow Service API per guidarvi nei passaggi da seguire per la connessione Apache Spark in Azure HDInsights (di seguito "Spark") a Experience Platform.

Introduzione

Questa guida richiede una buona conoscenza dei seguenti componenti di Adobe Experience Platform:
  • Origini : Experience Platform consente l'acquisizione di dati da varie origini, fornendo al contempo la possibilità di strutturare, etichettare e migliorare i dati in arrivo tramite Platform i servizi.
  • Sandbox : Experience Platform fornisce sandbox virtuali che dividono una singola Platform istanza in ambienti virtuali separati per sviluppare e sviluppare applicazioni per esperienze digitali.
Le sezioni seguenti forniscono informazioni aggiuntive che dovrete conoscere per collegarvi correttamente Spark utilizzando l' Flow Service API.

Raccogli credenziali richieste

Per Flow Service connettersi con Spark, è necessario fornire valori per le seguenti proprietà di connessione:
Credenziali
Descrizione
host
Indirizzo IP o nome host del Spark server.
username
Nome utente utilizzato per accedere al Spark server.
password
La password corrispondente all'utente.
connectionSpec.id
Identificatore univoco necessario per creare una connessione. L'ID della specifica di connessione per Spark è: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6
Per ulteriori informazioni su come iniziare, consulta questo documento Spark.

Lettura di chiamate API di esempio

Questa esercitazione fornisce esempi di chiamate API per dimostrare come formattare le richieste. Questi includono percorsi, intestazioni richieste e payload di richieste formattati correttamente. Viene inoltre fornito un JSON di esempio restituito nelle risposte API. Per informazioni sulle convenzioni utilizzate nella documentazione per le chiamate API di esempio, vedete la sezione come leggere chiamate API di esempio nella guida alla Experience Platform risoluzione dei problemi.

Raccogli valori per le intestazioni richieste

Per effettuare chiamate alle Platform API, è prima necessario completare l'esercitazione sull' autenticazione. Completando l'esercitazione sull'autenticazione, vengono forniti i valori per ciascuna delle intestazioni richieste in tutte le chiamate Experience Platform API, come illustrato di seguito:
  • Autorizzazione: Portatore {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}
Tutte le risorse in Experience Platform, comprese quelle appartenenti al gruppo Flow Service, sono isolate in sandbox virtuali specifiche. Tutte le richieste alle Platform API richiedono un'intestazione che specifica il nome della sandbox in cui avrà luogo l'operazione:
  • x-sandbox-name: {SANDBOX_NAME}
Tutte le richieste che contengono un payload (POST, PUT, PATCH) richiedono un'intestazione aggiuntiva per il tipo di supporto:
  • Content-Type: application/json

Creare una connessione

Una connessione specifica un'origine e contiene le credenziali per tale origine. È necessaria una sola connessione per Spark account, in quanto può essere utilizzata per creare più connettori sorgente per inserire dati diversi.
Formato API
POST /connections

Richiesta
Per creare una Spark connessione, è necessario fornire l'ID univoco della specifica di connessione come parte della richiesta POST. L'ID della specifica di connessione per Spark è 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 .
curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

Parametro
Descrizione
auth.params.host
Host del Spark server.
auth.params.username
Nome utente associato alla Spark connessione.
auth.params.password
La password associata alla Spark connessione.
connectionSpec.id
ID specifica Spark connessione: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 .
Risposta
Una risposta corretta restituisce i dettagli della nuova connessione creata, incluso il relativo identificatore univoco ( id ). Questo ID è necessario per esplorare i dati nell'esercitazione successiva.
{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Passaggi successivi

Seguendo questa esercitazione, hai creato una Spark connessione utilizzando l' Flow Service API e hai ottenuto il valore ID univoco della connessione. Puoi usare questo ID nell’esercitazione successiva per imparare a esplorare i database utilizzando l’API del servizio di flusso.