Show Menu
TÓPICOS×

Importação de dados

Como coletar dados

Usando dados de uma lista: lista de leitura

Os dados enviados em um workflow podem vir de listas em que os dados foram preparados e estruturados antecipadamente.
Esta lista pode ter sido criada diretamente no Adobe Campaign ou importada pela opção Import a list . Para obter mais informações sobre essa opção, consulte esta página .
Para obter mais informações sobre como usar a atividade da lista de leitura em um workflow, consulte Lista de leitura .

Carregamento de dados de um arquivo

Os dados processados em um workflow podem ser extraídos de um arquivo estruturado para serem importados para o Adobe Campaign.
Uma descrição da atividade de carregamento de dados pode ser encontrada na seção Data loading (file) .
Exemplo de arquivo estruturado a ser importado:
lastname;firstname;birthdate;email;crmID
Smith;Hayden;23/05/1989;hayden.smith@example.com;124365
Mars;Daniel;17/11/1987;dannymars@example.com;123545
Smith;Clara;08/02/1989;hayden.smith@example.com;124567
Durance;Allison;15/12/1978;allison.durance@example.com;120987

Descompactação ou descriptografia de um arquivo antes do processamento

O Adobe Campaign permite importar arquivos compactados ou criptografados. Antes de serem lidos em uma atividade Data loading (file) , é possível definir um pré-processamento para descompactar ou descriptografar o arquivo.
Para fazer isso:
  • Se a sua instalação do Adobe Campaign estiver hospedada pela Adobe: envie uma solicitação para Suporte para ter os utilitários necessários instalados no servidor.
  • Se a instalação do Adobe Campaign estiver no local: instale o utilitário que deseja usar (por exemplo: GPG, GZIP) e as chaves necessárias (chave de criptografia) no servidor de aplicativos.
  1. Adicione e configure uma atividade File transfer no workflow.
  2. Adicione uma atividade Data loading (file) e defina o formato de arquivo.
  3. Marque a opção Pre-process the file .
  4. Especifique o comando do pré-processamento que deseja aplicar. Por exemplo, para descriptografar um arquivo usando PGP:
    <path-to_pgp_if-not_global_or_server/>pgp.exe --decrypt --input nl6/var/vp/import/filename.pgp --passphrase "your password" --recipient recipient @email.com --verbose --output nl6/var/vp/import/filename
    
    
  5. Adicione outras atividades para gerenciar dados provenientes do arquivo.
  6. Salve e execute seu workflow.
Ao exportar um arquivo, você também pode compactá-lo ou criptografá-lo. Consulte Compactação ou criptografia de um arquivo .

Práticas recomendadas para importação de dados

Ser cuidadoso e seguir apenas algumas regras simples detalhadas abaixo ajudará a garantir a consistência dos dados dentro do banco de dados e evitar erros comuns durante a atualização ou exportação de dados.

Uso de templates de importação

A maioria dos workflows de importação deve conter as seguintes atividades: Data loading (file) , Enrichment , Split , Deduplication e Update data .
É muito conveniente usar templates de importação para preparar importações semelhantes e garantir a consistência dos dados no banco de dados. Saiba como criar modelos de workflow na seção Workflow templates .
Em muitos projetos, as importações são criadas sem a atividade Deduplication porque os arquivos usados no projeto não têm duplicatas. As duplicatas às vezes surgem da importação de arquivos diferentes. A eliminação de duplicatas é difícil. Portanto, a etapa de eliminação de duplicatas é uma boa precaução em todos os workflows de importação.
Não confie na suposição de que os dados de entrada são consistentes e corretos, ou que o departamento de TI ou o supervisor do Adobe Campaign irá resolver isso. Durante o projeto, mantenha a limpeza dos dados em mente. Elimine duplicatas, reconcilie e mantenha de consistência ao importar dados.
Um exemplo de template de importação está disponível na seção Setting up a recurring import .

Uso dos formatos de arquivo simples

O formato mais eficiente para importações é o arquivo simples. Arquivos simples podem ser importados no modo em massa no nível do banco de dados.
Por exemplo:
  • Separador: tabulação ou ponto e vírgula
  • Primeira linha com cabeçalhos
  • Nenhum delimitador de cadeia de caracteres
  • Formato de data: AAAA/MM/DD HH:mm:SS
O Adobe Campaign não pode importar arquivos XML usando atividades de importação de arquivos padrão. É possível importar arquivos XML usando JavaScript, mas somente com volumes pequenos: menos de 10 mil registros por arquivo.

Uso de compactação e criptografia

Use arquivos compactados para importações e exportações sempre que possível.
No Linux, é possível descompactar um arquivo e importar ao mesmo tempo usando uma linha de comando. Por exemplo:
zcat nl6/var/vp/import/filename.gz

Também é recomendável criptografar arquivos enviados pela rede se não for seguro. GPG pode ser usado para isso.

Carregamento de dados em lote a partir de arquivos

O carregamento de dados em lote a partir de um arquivo é mais efetivo que carregar uma linha de cada vez e em tempo real (por exemplo, via serviço da Web).
Importações usando serviços da Web não são eficientes. É melhor usar arquivos sempre que possível.
A chamada de serviços Web externos para enriquecer perfis em tempo real também é conhecida por causar problemas de desempenho e perda de memória, pois funciona em nível de linha.
É melhor importar dados em lote, usando um workflow, do que em tempo real, usando uma aplicação Web ou um serviço da Web.

Uso da Gestão de Dados

O carregamento no modo iterativo (linha por linha) usando JavaScript deve ser limitado a pequenos volumes.
Para maior eficiência, sempre use a atividade Data Loading (File) em workflows de gerenciamento de dados.

Importação no modo Delta

Importações regulares devem ser feitas no modo delta. Isso significa que somente os dados modificados ou novos são enviados ao Adobe Campaign, em vez da tabela toda sempre.
As importações completas devem ser usadas somente para carregamento inicial.
Importe dados usando a gestão de dados em vez de JavaScript.

Manutenção da consistência

Para manter a consistência dos dados no banco de dados do Adobe Campaign, siga os princípios abaixo:
  • Se os dados importados corresponderem a uma tabela de referência no Adobe Campaign, então ele deverá ser reconciliado com essa tabela no workflow. Os registros que não correspondem devem ser rejeitados.
  • Certifique-se de que os dados importados sejam sempre "normalizados" (email, número de telefone, endereço de mala direta) e que essa normalização seja confiável e não será alterada ao longo dos anos. Se não for o caso, provavelmente aparecerão algumas duplicatas no banco de dados e, como o Adobe Campaign não fornece ferramentas para fazer a correspondência "difusa", será muito difícil removê-las e gerencia-las.
  • Os dados transacionais devem ter uma chave de reconciliação e serem reconciliados com os dados existentes para evitar a criação de duplicatas.
  • Importação de arquivos relacionados em ordem .
    Se a importação for composta de vários arquivos que dependem uns dos outros, o workflow deve garantir que os arquivos sejam importados na ordem correta. Quando um arquivo falhar, os outros arquivos não serão importados.
  • Elimine duplicatas , reconcilie e mantenha de consistência ao importar dados.

Configuração de uma importação recorrente

Usar um template de importação é uma prática recomendada se você precisar importar arquivos regularmente com a mesma estrutura.
Esse exemplo mostra como predefinir um workflow que pode ser reutilizado para importar perfis provenientes de um CRM no banco de dados do Adobe Campaign. Para obter mais informações sobre todas as configurações possíveis para cada atividade, consulte esta seção .
  1. Crie um novo modelo de workflow a partir de Resources > Templates > Workflow templates .
  2. Adicione as seguintes atividades:
    • Data loading (file) : defina a estrutura esperada do arquivo que contém os dados a serem importados.
    • Enrichment : reconcilie os dados importados com os dados do banco de dados.
    • Split : crie filtros para processar registros de forma diferente, sejam eles reconciliados ou não.
    • Deduplication : elimine a duplicação dos dados do arquivo de entrada antes de ele ser inserido no banco de dados.
    • Update data : atualize o banco de dados com os perfis importados.
  3. Configure a atividade Data Loading (file) :
    • Defina a estrutura esperada carregando um arquivo de amostra. O arquivo de amostra deve conter apenas algumas linhas, mas todas as colunas necessárias para a importação. Verifique e edite o formato de arquivo para verificar se o tipo de cada coluna está definido corretamente: texto, data, inteiro, etc. Por exemplo:
      lastname;firstname;birthdate;email;crmID
      Smith;Hayden;23/05/1989;hayden.smith@mailtest.com;123456
      
      
    • Na seção Name of the file to load , selecione Upload a file from the local machine e deixe o campo em branco. Toda vez que um novo workflow for criado a partir desse modelo, você pode especificar aqui o arquivo desejado, desde que ele corresponda à estrutura definida.
      Você pode usar qualquer uma das opções, mas precisa modificar o template adequadamente. Por exemplo, se você selecionar Specified in the transition , será possível adicionar uma atividade File Transfer antes de recuperar o arquivo para importar de um servidor FTP/SFTP. Com a conexão S3 ou SFTP, também será possível importar dados de segmento para o Adobe Campaign com a Adobe Real-time Customer Data Platform. Para obter mais informações, consulte esta documentação .
  4. Configure a atividade Enrichment . A finalidade dessa atividade nesse contexto é identificar os dados de entrada.
    • Na guia Enrichment , selecione Add data e defina um vínculo entre os dados importados e o targeting dimension do recipient. Neste exemplo, o campo personalizado ID do CRM é usado para criar a condição de associação. Use o campo ou uma combinação de campos que você precisa, desde que isso permita identificar registros únicos.
    • Na guia Reconciliation , deixa a opção Identify the document from the working data desmarcada.
  5. Configure a atividade Split para recuperar os recipients reconciliados em uma transição e recipients que não puderam ser reconciliados, mas que tenham dados suficientes em uma segunda transição.
    A transição com recipients reconciliados pode ser usada para atualizar o banco de dados. A transição com recipients desconhecidos pode ser usada para criar novas entradas de recipients no banco de dados se um conjunto mínimo de informações estiver disponível no arquivo.
    Os recipients que não podem ser reconciliados e não têm dados suficientes estão selecionados em uma transição de saída de complemento e podem ser exportados em um arquivo separado ou simplesmente ignorado.
    • Na guia General da atividade, selecione Use the additional data only como configuração de filtragem e verifique se o Targeting dimension é configurado automaticamente como Enrichment .
      Marque a opção Generate complement para ver se algum registro não pode ser inserido no banco de dados. Se for necessário, processamento adicional pode ser aplicado aos dados complementares: exportação de arquivos, atualização de lista etc.
    • No primeiro subconjunto da guia Subsets , adicione uma condição de filtragem no público de entrada para selecionar apenas registros para os quais a chave primária do recipient não for igual a 0. Dessa forma, os dados do arquivo reconciliado com recipients do banco de dados são selecionados nesse subconjunto.
    • Adicione um segundo subconjunto que seleciona registros não reconciliados que tenham dados suficientes para serem inseridos no banco de dados. Por exemplo: endereço de email, nome e sobrenome.
      Os subconjuntos são processados na ordem de criação, isso significa que quando esse segundo subconjunto é processado, todos os registros que já existem no banco de dados já estão selecionados no primeiro subconjunto.
    • Todos os registros que não estão selecionados nos dois primeiros subconjuntos são selecionados no Complement .
  6. Configure a atividade Update data localizada após a primeira transição de saída da atividade Split configurada anteriormente.
    • Selecione Update como Operation type desde que a transição de entrada contenha apenas os recipients já presentes no banco de dados.
    • Na seção Record identification , selecione Using reconciliation keys e defina uma chave entre o targeting dimension e o link criado no Enrichment . Neste exemplo, o campo personalizado ID do CRM é usado.
    • Na guia Fields to update , indique os campos da dimensão de recipients a serem atualizados com o valor da coluna correspondente no arquivo. Se os nomes das colunas de arquivo forem idênticos ou quase idênticos aos dos campos de dimensão dos recipients, você poderá usar o botão da varinha mágica para combinar os diferentes campos automaticamente.
  7. Configure a atividade Deduplication localizada após a transição que contém os recipients não reconciliados:
    • Selecione Edit configuration e defina o targeting dimension para o schema temporário gerado a partir da atividade de Enrichment do workflow.
    • Nesse exemplo, o campo de email é usado para localizar perfis únicos. Você pode usar qualquer campo que você tem certeza que está preenchido e é parte de uma combinação única.
    • Na tela Deduplication method , selecione Advanced parameters e marque a opção Disable automatic filtering of 0 ID records para garantir que os registros que possuem uma chave primária igual a 0 (que deve ser todos os registros desta transição) não serão excluídos.
  8. Configure a atividade Update data , localizada após a atividade Deduplication , configurada anteriormente.
    • Selecione Insert como Operation type desde que a transição de entrada contenha apenas recipients não presentes no banco de dados.
    • Na seção Record identification , selecione Directly using the targeting dimension e escolha a dimensão Recipients .
    • Na guia Fields to update , indique os campos da dimensão de recipients a serem atualizados com o valor da coluna correspondente no arquivo. Se os nomes das colunas de arquivo forem idênticos ou quase idênticos aos dos campos de dimensão dos recipients, você poderá usar o botão da varinha mágica para combinar os diferentes campos automaticamente.
  9. Após a terceira transição da atividade Split , adicione uma atividade Data extraction (file) e uma atividade File transfer se desejar acompanhar os dados não inseridos no banco de dados. Configure essas atividades para exportar a coluna necessária e transferir o arquivo em um servidor FTP ou SFTP, onde você pode recuperá-la.
  10. Adicione uma atividade End e salve o template do workflow.
Agora o template pode ser usado e está disponível para todo workflow novo. O necessário é especificar o arquivo que contém os dados a serem importados na atividade Data loading (file) .