Show Menu
SUJETS×

Importer des données

Comment collecter des données

Utiliser les données d'une liste : Lecture de Liste

Les données traitées dans un workflow peuvent provenir de listes dont les données ont été préparées et structurées au préalable.
Ces listes peuvent avoir été constituées directement dans Adobe Campaign ou importées via l'option Importer une liste . Pour plus d'informations sur cette option, consultez cette page .
Pour plus d’informations sur l'utilisation de l'activité de lecture de liste dans un workflow, consultez la section Lecture de liste .

Charger des données depuis un fichier

Les données traitées dans un workflow peuvent êtes extraites d'un fichier structuré pour qu'il puisse être importé dans Adobe Campaign.
Une description de l'activité de chargement de fichier est disponible dans la section Chargement (fichier) .
Voici un exemple de fichier structuré à importer :
lastname;firstname;birthdate;email;crmID
Smith;Hayden;23/05/1989;hayden.smith@example.com;124365
Mars;Daniel;17/11/1987;dannymars@example.com;123545
Smith;Clara;08/02/1989;hayden.smith@example.com;124567
Durance;Allison;15/12/1978;allison.durance@example.com;120987

Décompresser ou déchiffrer un fichier avant traitement

Adobe Campaign permet d'importer des fichiers compressés ou chiffrés. Avant qu'un fichier ne puisse être lu dans une activité Chargement (fichier) , vous pouvez définir une étape de prétraitement pour le décompresser ou le déchiffrer.
Pour ce faire :
  • Si votre installation d'Adobe Campaign est hébergée par Adobe : envoyez une demande à l' assistance technique afin que les utilitaires nécessaires soient installés sur le serveur.
  • S'il s'agit d'une installation on-premise : installez l'utilitaire que vous souhaitez utiliser (GPG ou GZIP, par exemple) ainsi que les clés (clé de chiffrement) nécessaires sur le serveur applicatif.
  1. Ajoutez et configurez une activité Transfert de fichier dans le workflow.
  2. Ajoutez une activité Chargement (fichier) et définissez le format de fichier.
  3. Cochez l'option Inclure un pré-traitement du fichier .
  4. Spécifiez la commande de prétraitement que vous souhaitez appliquer. Par exemple, pour déchiffrer un fichier à l'aide de PGP :
    <path-to_pgp_if-not_global_or_server/>pgp.exe --decrypt --input nl6/var/vp/import/filename.pgp --passphrase "your password" --recipient recipient @email.com --verbose --output nl6/var/vp/import/filename
    
    
  5. Ajoutez d'autres activités pour gérer les données provenant du fichier.
  6. Enregistrez et exécutez le workflow.
Lors de l'export d'un fichier, vous pouvez également le compresser ou le chiffrer. Voir Compresser ou chiffrer un fichier .

Bonnes pratiques relatives à l’import de données

Pour garantir la cohérence des données au sein de la base de données et éviter les erreurs fréquentes lors de la mise à jour de la base de données ou de l'export de données, faites preuve de précaution et suivez les quelques règles simples détaillées ci-dessous.

Utiliser les modèles d'import

La plupart des workflows d'import doivent contenir les activités suivantes : Chargement (fichier) , Enrichissement , Partage , Déduplication , Mise à jour de données .
L'utilisation de modèles d'import facilite la préparation d'imports similaires et garantit la cohérence des données au sein de la base de données. Découvrez comment créer des modèles de workflows dans la section Modèles de workflows .
Pour de nombreux projets, les imports sont construits sans activité de Déduplication car les fichiers utilisés n'ont pas de doublon. Des doublons apparaissent parfois suite à l'import d'autres fichiers. La déduplication est alors difficile. C'est pourquoi l'ajout d'une étape de déduplication est une précaution utile pour tous les workflows d'import.
Ne partez pas de l'hypothèse selon laquelle les données entrantes sont cohérentes et justes ou que le département informatique ou le responsable Adobe Campaign s'en occupera. Gardez la normalisation des données à l'esprit tout au long du projet. Veillez à dédupliquer, à réconcilier et à maintenir la cohérence des données lors des imports.
Un exemple de modèle d’import est disponible dans la section Configurer un import récurrent .

Utiliser des formats de fichiers plats

Le format le plus efficace pour les imports est le fichier plat. Les fichiers plats peuvent être importés en masse au niveau de la base de données.
Par exemple :
  • Séparateur : onglet ou point virgule
  • Première ligne avec en-têtes
  • Pas de délimiteur de chaîne
  • Format de date : AAAA/MM/JJ HH:mm:SS
Adobe Campaign ne peut pas importer de fichiers XML via les activités d'import de fichier standard. Les fichiers XML peuvent être importés à l'aide de JavaScript, mais uniquement en petits volumes : moins de 10K enregistrements par fichier.

Utiliser la compression et le cryptage

Lorsque cela est possible, utilisez des fichiers compressés pour les imports et les exports.
Sous Linux, il est possible de décompresser un fichier et de l'importer en même temps à l'aide d'une ligne de commande. Par exemple :
zcat nl6/var/vp/import/filename.gz

Il est également de bonne pratique de crypter les fichiers envoyés via le réseau s'il n'est pas sécurisé. Pour cela, vous pouvez utiliser GPG.

Charger des données en mode batch depuis des fichiers

Le chargement des données en mode batch depuis un fichier est plus efficace que le chargement ligne par ligne et en temps réel (via un service web, par exemple).
Les imports à l'aide de Services web ne sont pas efficients. Il est recommandé d'utiliser des fichiers dans la mesure du possible.
L'appel aux services web externes pour enrichir des profils en temps réel engendre des problèmes de performance et des fuites mémoire, car il opère au niveau ligne.
Pour importer des données, il vaut mieux procéder en mode batch via un workflow plutôt qu'en temps réel à l'aide d'une application web ou d'un service web.

Utiliser la gestion des données

Le chargement en mode itératif (ligne par ligne) à l'aide de JavaScript doit être limité aux faibles volumes.
Pour plus d'efficacité, toujours utiliser l'activité Chargement (fichier) dans les workflows de gestion des données.

Importer en mode Delta

Les imports standard doivent être effectués en mode delta. Cela signifie qu'au lieu d'envoyer le tableau entier à chaque fois, seules les données modifiées ou nouvelles sont envoyée à Adobe Campaign.
Les imports complets sont réservés au chargement initial.
Les données doivent être importées à l'aide de la gestion des données et non de JavaScript.

Maintenir la cohérence

Pour maintenir la cohérence des données dans la base de données Adobe Campaign, veuillez appliquer les principes suivants :
  • Si les données importées correspondent à une table de référence dans Adobe Campaign, elles doivent être réconciliées avec ce tableau dans le workflow. Les enregistrements sans correspondance doivent être rejetés.
  • Assurez-vous que les données importées soient toujours « normalisées » (email, numéro de téléphone, adresse postale) et que cette normalisation soit fiable et ne risque pas de changer pas au fil des années. Si ce n'est pas le cas, des doublons risquent d'apparaître dans la base de données, et dans la mesure où Adobe Campaign ne fournit pas d'outils de « correspondance approximative », leur suppression sera très difficile.
  • Les données transactionnelles doivent être dotées d'une clé de réconciliation et être réconciliées avec les données existantes afin d'éviter la création de doublons.
  • Les fichiers liés doivent être importés dans l'ordre .
    Si l'import est composé de fichiers multiples et interdépendants, le workflow doit vérifier que les fichiers sont importés dans l'ordre. Si un fichier échoue, les autres fichiers ne sont pas importés.
  • Dédupliquez , réconciliez et maintenez la cohérence lorsque vous importez des données.

Configurer un import récurrent

L'utilisation d'un modèle d'import est une bonne pratique si vous devez importer régulièrement des fichiers de structure identique.
Cet exemple montre comment pré-paramétrer un workflow qui pourra être réutilisé pour importer des profils en provenance d'un CRM dans la base de données Adobe Campaign. Pour plus d'informations sur tous les paramétrages possibles pour chaque activité, reportez-vous à cette section .
  1. Créez un nouveau modèle de workflow à partir de Ressources > Modèles > Modèles de workflow .
  2. Ajoutez les activités suivantes :
    • Chargement (fichier)  : définissez la structure attendue du fichier contenant les données à importer.
    • Enrichissement  : réconciliez les données importées avec les données se trouvant dans la base de données.
    • Partage  : créez des filtres pour traiter les enregistrements différemment selon qu'ils aient pu ou non être réconciliés.
    • Déduplication  : dédupliquez les données du fichier entrant avant son import dans la base de données.
    • Mise à jour de données  : mettez la base de données à jour avec les profils importés.
  3. Configurez l'activité Chargement (fichier)  :
    • Définissez la structure attendue en téléchargeant un fichier exemple. Le fichier exemple ne doit contenir que quelques lignes mais toutes les colonnes nécessaires pour l'import. Vérifiez et éditez le format du fichier pour vous assurer que le type de chaque colonne est paramétré correctement : texte, date, nombre entier, etc. Par exemple :
      lastname;firstname;birthdate;email;crmID
      Smith;Hayden;23/05/1989;hayden.smith@mailtest.com;123456
      
      
    • Dans la section Nom du fichier à charger , sélectionnez Télécharger un fichier présent sur le poste local et laissez le champ vide. A chaque fois qu'un nouveau workflow sera créé à partir de ce modèle, vous pourrez préciser ici le fichier souhaité (tant qu'il correspond à la structure définie).
      Toutes les options sont utilisables, mais il faut modifier le modèle en conséquence. Par exemple, en sélectionnant Spécifié par la transition , vous pouvez ajouter une activité Transfert de fichier devant pour récupérer le fichier à importer à partir d'un serveur FTP/SFTP. Avec la connexion S3 ou SFTP, vous pouvez également importer des données de segments vers Adobe Campaign avec la plate-forme de données clientes en temps réel d’Adobe. Consultez à ce sujet cette documentation .
  4. Configurez l'activité Enrichissement . Dans ce contexte, le but de cette activité est d'identifier les données entrantes.
    • Dans l'onglet Enrichissement , sélectionnez Ajouter des données et définissez un lien entre les données importées et la dimension de ciblage des destinataires. Dans cet exemple, le champ personnalisé Identifiant dans le CRM permet de créer la condition de jointure. Utilisez le champ ou la combinaison de champs nécessaire tant que l'identification des enregistrements uniques reste possible.
    • Dans l'onglet Réconciliation , laissez l'option Identifier le document de ciblage à partir des données de travail décochée.
  5. Configurez l'activité de Partage pour récupérer les destinataires réconciliés dans une transition, et les destinataires qui n'ont pas pu être réconciliés mais qui disposent de suffisamment de données dans une autre transition.
    La transition des destinataires réconciliés peut alors être utilisée pour mettre à jour la base de données. La transition des destinataires inconnus peut servir à créer de nouvelles entrées de destinataires dans la base de données si un ensemble d'informations minimum est disponible dans le fichier.
    Les destinataires ne pouvant pas être réconciliés et ne disposant pas de suffisamment de données sont sélectionnés dans une transition sortante complémentaire et peuvent être exportés dans un fichier séparé ou tout simplement ignorés.
    • Dans l'onglet Général de l'activité, sélectionnez Utiliser les données additionnelles uniquement comme paramètre de filtrage et vérifiez que la Dimension de ciblage est paramétrée automatiquement sur Enrichissement .
      Cochez l'option Générer le complémentaire pour voir si des enregistrements n'ont pas pu être intégrés dans la base de données. Le cas échéant, vous pourrez alors appliquer d'autres traitements aux données complémentaires : export de fichier, mise à jour de liste, etc.
    • Dans le premier sous-ensemble de l'onglet Sous-ensembles , ajoutez une condition de filtrage sur la population entrante pour sélectionner uniquement les enregistrements pour lesquels la clé primaire du destinataire est différente de 0. De cette manière les données du fichier réconciliées avec les destinataires de la base de données sont sélectionnées dans ce sous-ensemble.
    • Ajoutez un second sous-ensemble pour sélectionner les enregistrements non réconciliés disposant de suffisamment de données pour être intégrés dans la base de données. Par exemple : adresse email, prénom et nom de famille.
      Les sous-ensembles sont traités dans l'ordre dans lequel ils ont été créés, ce qui veut dire que lorsque ce second sous-ensemble est traité, tous les enregistrements qui existent déjà dans la base de données sont déjà sélectionnés dans le premier sous-ensemble.
    • Tous les enregistrement qui ne sont pas sélectionnés dans les deux premiers sous-ensembles sont sélectionnés dans le Complémentaire .
  6. Configurez l'activité Mise à jour de données située après la première transition sortante de l'activité Partage paramétrée précédemment.
    • Sélectionnez Mise à jour comme Type d&#39;opération , puisque la transition entrante contient uniquement des destinataires déjà présents dans la base de données.
    • Dans la section Identification des enregistrements , sélectionnez En utilisant des clés de réconciliation et définissez une clé entre la dimension de ciblage et le lien créé dans l' Enrichissement . Dans cet exemple, le champ personnalisé Identifiant dans le CRM est utilisé.
    • Dans la section Champs à mettre à jour , indiquez les champs de la dimension des destinataires à mettre à jour avec la valeur de la colonne correspondante du fichier. Si les noms des colonnes du fichier sont identiques ou presque identiques aux noms des champs de la dimension des destinataires, utilisez le bouton baguette magique pour réconcilier les différents champs automatiquement.
  7. Configurez l'activité Déduplication située après la transition contenant les destinataires non réconciliés :
    • Sélectionnez Editer la configuration et paramétrez la dimension de ciblage sur le schéma temporaire généré à partir de l'activité Enrichissement du workflow.
    • Dans cet exemple, le champ email est utilisé pour trouver les profils uniques. Vous pouvez utiliser n'importe quel champ dont vous êtes sûr qu'il est rempli et qu'il fait partie d'une combinaison unique.
    • Dans l'écran Méthode de déduplication , sélectionnez Paramètres avancés et cochez l'option Désactiver le filtrage automatique des enregistrements d&#39;identifiant 0 pour veiller à ce que les enregistrements dont la clé primaire est égale à 0 (normalement, tous les enregistrements de cette transition) sont exclus.
  8. Configurez l'activité Mise à jour de données située après l'activité Déduplication paramétrée précédemment.
    • Sélectionnez Insertion comme Type d&#39;opération comme la transition entrante contient uniquement des destinataires non présents dans la base de données.
    • Dans la section Identification des enregistrements , sélectionnez En utilisant directement la dimension de ciblage et choisissez la dimension Destinataires .
    • Dans la section Champs à mettre à jour , indiquez les champs de la dimension des destinataires à mettre à jour avec la valeur de la colonne correspondante du fichier. Si les noms des colonnes du fichier sont identiques ou presque identiques aux noms des champs de la dimension des destinataires, utilisez le bouton baguette magique pour réconcilier les différents champs automatiquement.
  9. Après la troisième transition de l'activité Partage , ajoutez une activité Extraction (fichier) et une activité Transfert de fichier si vous souhaitez conserver une trace des données non intégrées dans la base de données. Paramétrez ces activités afin d'exporter la colonne dont vous avez besoin et de transférer le fichier sur un serveur FTP ou SFTP, où vous pourrez le récupérer.
  10. Ajoutez une activité Fin et enregistrez le modèle de workflow.
Le modèle est à présent utilisable et disponible pour chaque nouveau workflow. Il suffira alors de spécifier le fichier contenant les données à importer dans l'activité Chargement (fichier) .