Show Menu
TÓPICOS×

Importação de dados

Lembre-se dos limites de armazenamento SFTP, Armazenamento DB e perfil ativo conforme o contrato do AdobeCampaign, ao usar essa funcionalidade.

Como coletar dados

Usando dados de uma lista: lista de leitura

Os dados enviados em um workflow podem vir de listas em que os dados foram preparados e estruturados antecipadamente.
Esta lista pode ter sido criada diretamente no Adobe Campaign ou importada pela opção Import a list . Para obter mais informações sobre essa opção, consulte esta página .
Para obter mais informações sobre como usar a atividade da lista de leitura em um workflow, consulte Lista de leitura .

Carregamento de dados de um arquivo

Os dados processados em um workflow podem ser extraídos de um arquivo estruturado para serem importados para o Adobe Campaign.
Uma descrição da atividade de carregamento de dados pode ser encontrada na seção Data loading (file) .
Exemplo de arquivo estruturado a ser importado:
lastname;firstname;birthdate;email;crmID
Smith;Hayden;23/05/1989;hayden.smith@example.com;124365
Mars;Daniel;17/11/1987;dannymars@example.com;123545
Smith;Clara;08/02/1989;hayden.smith@example.com;124567
Durance;Allison;15/12/1978;allison.durance@example.com;120987

Descompactação ou descriptografia de um arquivo antes do processamento

Sobre as etapas de pré-processamento

O Adobe Campaign permite importar arquivos compactados ou criptografados. Antes de serem lidos em uma atividade Data loading (file) , é possível definir um pré-processamento para descompactar ou descriptografar o arquivo.
Para fazer isso:
  1. Use o Painel de controle do Campaign para gerar um par de chave pública/privada.
    O Painel de controle do Campaign está disponível para todos os clientes hospedados no AWS (exceto para clientes que hospedam suas instâncias de marketing no local).
  2. Se a instalação do Adobe Campaign for hospedada pelo Adobe, entre em contato com o Atendimento ao cliente da Adobe para ter os utilitários necessários instalados no servidor.
  3. Se a instalação do Adobe Campaign estiver no local, instale o utilitário que deseja usar (por exemplo: GPG, GZIP) e as chaves necessárias (chave de criptografia) no servidor de aplicativos.
Em seguida, você pode usar os comandos de pré-processamento desejados em seus workflows:
  1. Add and configure a File transfer activity in your workflow.
  2. Add a Data loading (file) activity and define the file format.
  3. Marque a opção Pre-process the file .
  4. Especifique o comando do pré-processamento que deseja aplicar.
  5. Adicione outras atividades para gerenciar dados provenientes do arquivo.
  6. Salve e execute seu workflow.
Um exemplo é apresentado no caso de uso abaixo.
Tópicos relacionados:

Caso de uso: Importação de dados criptografados usando uma chave gerada pelo Painel de controle do Campaign

Nesse caso de uso, criaremos um fluxo de trabalho para importar dados que foram criptografados em um sistema externo, usando uma chave gerada no Painel de controle do Campaign.
Um vídeo tutorial que mostra como usar uma chave GPG para descriptografar dados também está disponível na seção .
As etapas para executar esse caso de uso são as seguintes:
  1. Use o Painel de controle do Campaign para gerar um par de chaves (público/privado). As etapas detalhadas estão disponíveis na documentação do Painel de controle do Campaign.
    • A chave pública será compartilhada com o sistema externo, que a usará para criptografar os dados a serem enviados para a Campanha.
    • A chave privada será usada pelo Campaign Classic para descriptografar os dados criptografados recebidos.
  2. No sistema externo, use a chave pública baixada do Painel de controle do Campaign para criptografar os dados a serem importados para o Campaign Classic.
  3. No Campaign Classic, crie um fluxo de trabalho para importar os dados criptografados e descriptografá-los usando a chave privada que foi instalada por meio do Painel de controle do Campaign. Para fazer isso, criaremos um fluxo de trabalho da seguinte maneira:
    • File transfer atividade: Transfere o arquivo de uma fonte externa para o Campaign Classic. Neste exemplo, queremos transferir o arquivo de um servidor SFTP.
    • Data loading (file) atividade: Carrega os dados do arquivo no banco de dados e os decodifica usando a chave privada gerada no Painel de controle do Campaign.
  4. Abra a File transfer atividade e especifique a conta externa da qual deseja importar o arquivo .gpg criptografado.
    Os conceitos globais sobre como configurar a atividade estão disponíveis nesta seção .
  5. Abra a Data loading (file) atividade e configure-a de acordo com suas necessidades. Os conceitos globais sobre como configurar a atividade estão disponíveis nesta seção .
    Adicione um estágio de pré-processamento à atividade para descriptografar os dados recebidos. Para fazer isso, selecione a Pre-process the file opção e, em seguida, copie e cole este comando de descriptografia no Command campo :
    gpg --batch --passphrase passphrase --decrypt <%=vars.filename%>
    Neste exemplo, estamos usando a senha usada por padrão por Painel de controle do Campaign, que é "senha".
    Se você já teve chaves GPG instaladas em sua instância por meio de uma solicitação do Atendimento ao cliente no passado, a senha pode ter sido alterada e ser diferente daquela por padrão.
  6. Clique em OK para confirmar a configuração da atividade.
  7. Agora você pode executar o fluxo de trabalho. Depois de executada, você pode verificar nos logs do fluxo de trabalho se a descriptografia foi executada e se os dados do arquivo foram importados.

Práticas recomendadas para importação de dados

Ser cuidadoso e seguir apenas algumas regras simples detalhadas abaixo ajudará a garantir a consistência dos dados dentro do banco de dados e evitar erros comuns durante a atualização ou exportação de dados.

Uso de templates de importação

A maioria dos workflows de importação deve conter as seguintes atividades: Data loading (file) , Enrichment , Split , Deduplication , Update data .
É muito conveniente usar templates de importação para preparar importações semelhantes e garantir a consistência dos dados no banco de dados. Saiba como criar modelos de workflow na seção Workflow templates .
Em muitos projetos, as importações são criadas sem a atividade Deduplication porque os arquivos usados no projeto não têm duplicatas. As duplicatas às vezes surgem da importação de arquivos diferentes. A eliminação de duplicatas é difícil. Portanto, a etapa de eliminação de duplicatas é uma boa precaução em todos os workflows de importação.
Não confie na suposição de que os dados de entrada são consistentes e corretos, ou que o departamento de TI ou o supervisor do Adobe Campaign irá resolver isso. Durante o projeto, mantenha a limpeza dos dados em mente. Elimine duplicatas, reconcilie e mantenha de consistência ao importar dados.
Um exemplo de template de importação está disponível na seção Setting up a recurring import .

Uso dos formatos de arquivo simples

O formato mais eficiente para importações é o arquivo simples. Arquivos simples podem ser importados no modo em massa no nível do banco de dados.
Por exemplo:
  • Separador: tabulação ou ponto e vírgula
  • Primeira linha com cabeçalhos
  • Nenhum delimitador de cadeia de caracteres
  • Formato de data: AAAA/MM/DD HH:mm:SS
O Adobe Campaign não pode importar arquivos XML usando atividades de importação de arquivos padrão. É possível importar arquivos XML usando JavaScript, mas somente com volumes pequenos: menos de 10 mil registros por arquivo.

Uso de compactação e criptografia

Use arquivos compactados para importações e exportações sempre que possível.
No Linux, é possível descompactar um arquivo e importar ao mesmo tempo usando uma linha de comando. Por exemplo:
zcat nl6/var/vp/import/filename.gz

Também é recomendável criptografar arquivos enviados pela rede se não for seguro. GPG pode ser usado para isso.

Carregamento de dados em lote a partir de arquivos

O carregamento de dados em lote a partir de um arquivo é mais efetivo que carregar uma linha de cada vez e em tempo real (por exemplo, via serviço da Web).
Importações usando serviços da Web não são eficientes. É melhor usar arquivos sempre que possível.
A chamada de serviços Web externos para enriquecer perfis em tempo real também é conhecida por causar problemas de desempenho e perda de memória, pois funciona em nível de linha.
É melhor importar dados em lote, usando um workflow, do que em tempo real, usando uma aplicação Web ou um serviço da Web.

Uso da Gestão de Dados

O carregamento no modo iterativo (linha por linha) usando JavaScript deve ser limitado a pequenos volumes.
For better efficiency, always use the Data Loading (File) activity in data management workflows.

Importação no modo Delta

Importações regulares devem ser feitas no modo delta. Isso significa que somente os dados modificados ou novos são enviados ao Adobe Campaign, em vez da tabela toda sempre.
As importações completas devem ser usadas somente para carregamento inicial.
Importe dados usando a gestão de dados em vez de JavaScript.

Manutenção da consistência

Para manter a consistência dos dados no banco de dados do Adobe Campaign, siga os princípios abaixo:
  • Se os dados importados corresponderem a uma tabela de referência no Adobe Campaign, então ele deverá ser reconciliado com essa tabela no workflow. Os registros que não correspondem devem ser rejeitados.
  • Certifique-se de que os dados importados sejam sempre "normalizados" (email, número de telefone, endereço de mala direta) e que essa normalização seja confiável e não será alterada ao longo dos anos. Se não for o caso, provavelmente aparecerão algumas duplicatas no banco de dados e, como o Adobe Campaign não fornece ferramentas para fazer a correspondência "difusa", será muito difícil removê-las e gerencia-las.
  • Os dados transacionais devem ter uma chave de reconciliação e serem reconciliados com os dados existentes para evitar a criação de duplicatas.
  • Importação de arquivos relacionados em ordem .
    Se a importação for composta de vários arquivos que dependem uns dos outros, o workflow deve garantir que os arquivos sejam importados na ordem correta. Quando um arquivo falhar, os outros arquivos não serão importados.
  • Elimine duplicatas , reconcilie e mantenha de consistência ao importar dados.

Configuração de uma importação recorrente

Usar um template de importação é uma prática recomendada se você precisar importar arquivos regularmente com a mesma estrutura.
Esse exemplo mostra como predefinir um workflow que pode ser reutilizado para importar perfis provenientes de um CRM no banco de dados do Adobe Campaign. Para obter mais informações sobre todas as configurações possíveis para cada atividade, consulte esta seção .
  1. Create a new workflow template from Resources > Templates > Workflow templates .
  2. Adicione as seguintes atividades:
    • Data loading (file) : Defina a estrutura esperada do arquivo que contém os dados a serem importados.
    • Enrichment : reconcilie os dados importados com os dados do banco de dados.
    • Split : crie filtros para processar registros de forma diferente, sejam eles reconciliados ou não.
    • Deduplication : elimine a duplicação dos dados do arquivo de entrada antes de ele ser inserido no banco de dados.
    • Update data : Atualize o banco de dados com os perfis importados.
  3. Configure the Data Loading (file) activity:
    • Defina a estrutura esperada carregando um arquivo de amostra. O arquivo de amostra deve conter apenas algumas linhas, mas todas as colunas necessárias para a importação. Verifique e edite o formato de arquivo para verificar se o tipo de cada coluna está definido corretamente: texto, data, inteiro, etc. Por exemplo:
      lastname;firstname;birthdate;email;crmID
      Smith;Hayden;23/05/1989;hayden.smith@mailtest.com;123456
      
      
    • Na Name of the file to load seção, selecione Upload a file from the local machine e deixe o campo em branco. Toda vez que um novo workflow for criado a partir desse modelo, você pode especificar aqui o arquivo desejado, desde que ele corresponda à estrutura definida.
      Você pode usar qualquer uma das opções, mas precisa modificar o template adequadamente. For example, if you select Specified in the transition , you can add a File Transfer activity before to retrieve the file to import from a FTP/SFTP server. Com a conexão S3 ou SFTP, também será possível importar dados de segmento para o Adobe Campaign com a Adobe Real-time Customer Data Platform. Para obter mais informações, consulte esta documentação .
  4. Configure the Enrichment activity. A finalidade dessa atividade nesse contexto é identificar os dados de entrada.
    • Na guia Enrichment , selecione Add data e defina um vínculo entre os dados importados e o targeting dimension do recipient. Neste exemplo, o campo personalizado ID do CRM é usado para criar a condição de associação. Use o campo ou uma combinação de campos que você precisa, desde que isso permita identificar registros únicos.
    • Na Reconciliation guia, deixe a opção Identify the document from the working data desmarcada.
  5. Configure a atividade Split para recuperar os recipients reconciliados em uma transição e recipients que não puderam ser reconciliados, mas que tenham dados suficientes em uma segunda transição.
    A transição com recipients reconciliados pode ser usada para atualizar o banco de dados. A transição com recipients desconhecidos pode ser usada para criar novas entradas de recipients no banco de dados se um conjunto mínimo de informações estiver disponível no arquivo.
    Os recipients que não podem ser reconciliados e não têm dados suficientes estão selecionados em uma transição de saída de complemento e podem ser exportados em um arquivo separado ou simplesmente ignorado.
    • In the General tab of the activity, select Use the additional data only as filtering setting and make sure that the Targeting dimension is automatically set to Enrichment .
      Marque a opção Generate complement para ver se algum registro não pode ser inserido no banco de dados. Se for necessário, processamento adicional pode ser aplicado aos dados complementares: exportação de arquivos, atualização de lista etc.
    • No primeiro subconjunto da guia Subsets , adicione uma condição de filtragem no público de entrada para selecionar apenas registros para os quais a chave primária do recipient não for igual a 0. Dessa forma, os dados do arquivo reconciliado com recipients do banco de dados são selecionados nesse subconjunto.
    • Adicione um segundo subconjunto que seleciona registros não reconciliados que tenham dados suficientes para serem inseridos no banco de dados. Por exemplo: endereço de email, nome e sobrenome.
      Os subconjuntos são processados na ordem de criação, isso significa que quando esse segundo subconjunto é processado, todos os registros que já existem no banco de dados já estão selecionados no primeiro subconjunto.
    • Todos os registros que não estão selecionados nos dois primeiros subconjuntos são selecionados no Complement .
  6. Configure a atividade Update data localizada após a primeira transição de saída da atividade Split configurada anteriormente.
    • Selecione Update como Operation type desde que a transição de entrada contenha apenas os recipients já presentes no banco de dados.
    • In the Record identification section, select Using reconciliation keys and define a key between the targeting dimension and the link created in the Enrichment . Neste exemplo, o campo personalizado ID do CRM é usado.
    • Na guia Fields to update , indique os campos da dimensão de recipients a serem atualizados com o valor da coluna correspondente no arquivo. Se os nomes das colunas de arquivo forem idênticos ou quase idênticos aos dos campos de dimensão dos recipients, você poderá usar o botão da varinha mágica para combinar os diferentes campos automaticamente.
  7. Configure a atividade Deduplication localizada após a transição que contém os recipients não reconciliados:
    • Selecione Edit configuration e defina o targeting dimension para o schema temporário gerado a partir da atividade de Enrichment do workflow.
    • Nesse exemplo, o campo de email é usado para localizar perfis únicos. Você pode usar qualquer campo que você tem certeza que está preenchido e é parte de uma combinação única.
    • In the Deduplication method screen, select Advanced parameters and check the Disable automatic filtering of 0 ID records option to make sure records that have a primary key equal to 0 (which should be all records of this transition) are not excluded.
  8. Configure the Update data activity located after the Deduplication activity configured previously.
    • Selecione Insert como Operation type desde que a transição de entrada contenha apenas recipients não presentes no banco de dados.
    • Na Record identification seção, selecione Directly using the targeting dimension e escolha a Recipients dimensão.
    • Na guia Fields to update , indique os campos da dimensão de recipients a serem atualizados com o valor da coluna correspondente no arquivo. Se os nomes das colunas de arquivo forem idênticos ou quase idênticos aos dos campos de dimensão dos recipients, você poderá usar o botão da varinha mágica para combinar os diferentes campos automaticamente.
  9. After the third transition of the Split activity, add a Data extraction (file) activity and a File transfer activity if you want to keep track of data not inserted in the database. Configure essas atividades para exportar a coluna necessária e transferir o arquivo em um servidor FTP ou SFTP, onde você pode recuperá-la.
  10. Adicione uma atividade End e salve o template do workflow.
Agora o template pode ser usado e está disponível para todo workflow novo. All is needed is then to specify the file containing the data to import in the Data loading (file) activity.