Show Menu
TÓPICOS×

Criar um Apache Spark no conector HDInsights do Azure usando a API de Serviço de Fluxo

O Serviço de fluxo é usado para coletar e centralizar dados do cliente de várias fontes diferentes na Adobe Experience Platform. O serviço fornece uma interface de usuário e uma RESTful API a partir da qual todas as fontes compatíveis são conectáveis.
Este tutorial usa a API de Serviço de Fluxo para guiá-lo pelas etapas para conectar o Apache Spark no Azure HDInsights (a seguir, "Spark") à plataforma de experiência.

Introdução

Este guia exige uma compreensão prática dos seguintes componentes da Adobe Experience Platform:
  • Fontes : A Plataforma de experiência permite que os dados sejam assimilados de várias fontes e, ao mesmo tempo, fornece a você a capacidade de estruturar, rotular e aprimorar os dados recebidos usando os serviços da plataforma.
  • Caixas de proteção : A plataforma Experience fornece caixas de proteção virtuais que particionam uma única instância da Plataforma em ambientes virtuais separados para ajudar a desenvolver e desenvolver aplicativos de experiência digital.
As seções a seguir fornecem informações adicionais que você precisará saber para se conectar com êxito ao Spark usando a API de Serviço de Fluxo.

Reunir credenciais obrigatórias

Para que o Serviço de Fluxo se conecte com o Spark, é necessário fornecer valores para as seguintes propriedades de conexão:
Credencial
Descrição
host
O endereço IP ou o nome do host do servidor Spark.
username
O nome de usuário que você usa para acessar o Spark Server.
password
A senha correspondente ao usuário.
connectionSpec.id
O identificador exclusivo necessário para criar uma conexão. A ID de especificação de conexão para Spark é: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6
Para obter mais informações sobre a introdução, consulte este documento Spark.

Lendo chamadas de exemplo da API

Este tutorial fornece exemplos de chamadas de API para demonstrar como formatar suas solicitações. Isso inclui caminhos, cabeçalhos necessários e cargas de solicitação formatadas corretamente. O JSON de amostra retornado em respostas de API também é fornecido. Para obter informações sobre as convenções usadas na documentação para chamadas de API de amostra, consulte a seção sobre como ler chamadas de API de exemplo no guia de solução de problemas da plataforma Experience.

Reunir valores para cabeçalhos necessários

Para fazer chamadas para APIs de plataforma, você deve primeiro concluir o tutorial de autenticação. A conclusão do tutorial de autenticação fornece os valores para cada um dos cabeçalhos necessários em todas as chamadas da API da plataforma da experiência, como mostrado abaixo:
  • Autorização: Portador {ACCESS_TOKEN}
  • x-api-key: {API_KEY}
  • x-gw-ims-org-id: {IMS_ORG}
Todos os recursos na plataforma Experience, incluindo os pertencentes ao Serviço de Fluxo, são isolados para caixas de proteção virtuais específicas. Todas as solicitações para APIs de plataforma exigem um cabeçalho que especifique o nome da caixa de proteção em que a operação ocorrerá:
  • x-sandbox-name: {SANDBOX_NAME}
Todas as solicitações que contêm uma carga (POST, PUT, PATCH) exigem um cabeçalho de tipo de mídia adicional:
  • Tipo de conteúdo: application/json

Criar uma conexão

Uma conexão especifica uma fonte e contém suas credenciais para essa fonte. Somente uma conexão é necessária por conta Spark, pois pode ser usada para criar vários conectores de origem para trazer dados diferentes.
Formato da API
POST /connections

Solicitação
Para criar uma conexão Spark, sua ID exclusiva de especificação de conexão deve ser fornecida como parte da solicitação POST. A ID de especificação de conexão para Spark é 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 .
curl -X POST \
    'https://platform.adobe.io/data/foundation/flowservice/connections' \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'Content-Type: application/json' \
    -d '{
        "name": "Spark test connection",
        "description": "A Spark test connection",
        "auth": {
            "specName": "HDInsights Basic Authentication",
        "params": {
            "host" :  "{HOST}",
            "username" : "{USERNAME}",
            "password" :"{PASSWORD}"
            }
        },
        "connectionSpec": {
            "id": "6a8d82bc-1caf-45d1-908d-cadabc9d63a6",
            "version": "1.0"
        }
    }'

Parâmetro
Descrição
auth.params.host
O host do servidor Spark.
auth.params.username
O nome de usuário associado à sua conexão Spark.
auth.params.password
A senha associada à sua conexão Spark.
connectionSpec.id
A ID de especificação de conexão Spark: 6a8d82bc-1caf-45d1-908d-cadabc9d63a6 .
Resposta
Uma resposta bem-sucedida retorna detalhes da conexão recém-criada, incluindo seu identificador exclusivo ( id ). Essa ID é necessária para explorar seus dados no próximo tutorial.
{
    "id": "a45f2f58-e3a2-46ba-9f2f-58e3a2b6baf2",
    "etag": "\"900009d6-0000-0200-0000-5e8500010000\""
}

Próximas etapas

Ao seguir este tutorial, você criou uma conexão Spark usando a API de Serviço de Fluxo e obteve o valor de ID exclusivo da conexão. Você pode usar essa ID no próximo tutorial à medida que aprende a explorar bancos de dados usando a API do Serviço de Fluxo.