Show Menu
SUJETS×

Importer des données

Pensez aux limites de stockage SFTP, de stockage de la base de données et de profil actif, selon votre contrat Adobe Campaign, lors de l’import de données.

Comment collecter des données

Utiliser les données d'une liste : Lecture de Liste

Les données traitées dans un workflow peuvent provenir de listes dont les données ont été préparées et structurées au préalable.
Ces listes peuvent avoir été constituées directement dans Adobe Campaign ou importées via l'option Importer une liste . Pour plus d'informations sur cette option, consultez cette page .
Pour plus d’informations sur l'utilisation de l'activité de lecture de liste dans un workflow, consultez la section Lecture de liste .

Charger des données depuis un fichier

Les données traitées dans un workflow peuvent êtes extraites d'un fichier structuré pour qu'il puisse être importé dans Adobe Campaign.
Une description de l'activité de chargement de fichier est disponible dans la section Chargement (fichier) .
Voici un exemple de fichier structuré à importer :
lastname;firstname;birthdate;email;crmID
Smith;Hayden;23/05/1989;hayden.smith@example.com;124365
Mars;Daniel;17/11/1987;dannymars@example.com;123545
Smith;Clara;08/02/1989;hayden.smith@example.com;124567
Durance;Allison;15/12/1978;allison.durance@example.com;120987

Bonnes pratiques relatives à l’import de données

Pour garantir la cohérence des données au sein de la base de données et éviter les erreurs fréquentes lors de la mise à jour de la base de données ou de l’export de données, faites preuve de précaution et suivez les quelques règles simples détaillées ci-dessous.

Utiliser les modèles d’import

La plupart des workflows d'import doivent contenir les activités suivantes : Chargement (fichier) , Enrichissement , Partage , Déduplication , Mise à jour de données .
L'utilisation de modèles d'import facilite la préparation d'imports similaires et garantit la cohérence des données au sein de la base de données. Découvrez comment créer des modèles de workflows dans la section Modèles de workflows .
Pour de nombreux projets, les imports sont construits sans activité de Déduplication car les fichiers utilisés n’ont pas de doublon. Des doublons apparaissent parfois suite à l’import d’autres fichiers. La déduplication est alors difficile. C’est pourquoi l’ajout d’une étape de déduplication est une précaution utile pour tous les workflows d’import.
Ne partez pas de l’hypothèse selon laquelle les données entrantes sont cohérentes et justes ou que le département informatique ou le responsable Adobe Campaign s’en occupera. Gardez la normalisation des données à l’esprit tout au long du projet. Veillez à dédupliquer, à réconcilier et à maintenir la cohérence des données lors des imports.
Un exemple de modèle d’import est disponible dans la section Configurer un import récurrent .

Utiliser des formats de fichiers plats

Le format le plus efficace pour les imports est le fichier plat. Les fichiers plats peuvent être importés en masse au niveau de la base de données.
Par exemple :
  • Séparateur : onglet ou point virgule
  • Première ligne avec en-têtes
  • Pas de délimiteur de chaîne
  • Format de date : AAAA/MM/JJ HH:mm:SS
Adobe Campaign ne peut pas importer de fichiers XML via les activités d'import de fichier standard. Les fichiers XML peuvent être importés à l'aide de JavaScript, mais uniquement en petits volumes : moins de 10K enregistrements par fichier.

Utiliser la compression et le cryptage

Lorsque cela est possible, utilisez des fichiers compressés pour les imports et les exports.
Sous Linux, il est possible de décompresser un fichier et de l'importer en même temps à l'aide d'une ligne de commande. Par exemple :
zcat nl6/var/vp/import/filename.gz

Il est également de bonne pratique de crypter les fichiers envoyés via le réseau s'il n'est pas sécurisé. Pour cela, vous pouvez utiliser GPG.

Charger des données en mode batch depuis des fichiers

Le chargement des données en mode batch depuis un fichier est plus efficace que le chargement ligne par ligne et en temps réel (via un service web, par exemple).
Les imports à l'aide de Services web ne sont pas efficients. Il est recommandé d'utiliser des fichiers dans la mesure du possible.
L'appel aux services web externes pour enrichir des profils en temps réel engendre des problèmes de performance et des fuites mémoire, car il opère au niveau ligne.
Pour importer des données, il vaut mieux procéder en mode batch via un workflow plutôt qu'en temps réel à l'aide d'une application web ou d'un service web.

Utiliser la gestion des données

Le chargement en mode itératif (ligne par ligne) à l'aide de JavaScript doit être limité aux faibles volumes.
Pour plus d'efficacité, toujours utiliser l'activité Chargement (fichier) dans les workflows de gestion des données.

Importer en mode Delta

Les imports standard doivent être effectués en mode delta. Cela signifie qu'au lieu d'envoyer le tableau entier à chaque fois, seules les données modifiées ou nouvelles sont envoyée à Adobe Campaign.
Les imports complets sont réservés au chargement initial.
Les données doivent être importées à l'aide de la gestion des données et non de JavaScript.

Maintenir la cohérence

Pour maintenir la cohérence des données dans la base de données Adobe Campaign, veuillez appliquer les principes suivants :
  • Si les données importées correspondent à une table de référence dans Adobe Campaign, elles doivent être réconciliées avec ce tableau dans le workflow. Les enregistrements sans correspondance doivent être rejetés.
  • Assurez-vous que les données importées soient toujours « normalisées » (email, numéro de téléphone, adresse postale) et que cette normalisation soit fiable et ne risque pas de changer pas au fil des années. Si ce n’est pas le cas, des doublons risquent d’apparaître dans la base de données, et dans la mesure où Adobe Campaign ne fournit pas d’outils de « correspondance approximative », leur suppression sera très difficile.
  • Les données transactionnelles doivent être dotées d’une clé de réconciliation et être réconciliées avec les données existantes afin d’éviter la création de doublons.
  • Les fichiers liés doivent être importés dans l'ordre .
    Si l’import est composé de fichiers multiples et interdépendants, le workflow doit vérifier que les fichiers sont importés dans l’ordre. Si un fichier échoue, les autres fichiers ne sont pas importés.
  • Dédupliquez , réconciliez et maintenez la cohérence lorsque vous importez des données.

Cas pratique : configuration d’un import récurrent

L'utilisation d'un modèle d'import est une bonne pratique si vous devez importer régulièrement des fichiers de structure identique.
Cet exemple montre comment pré-paramétrer un workflow qui pourra être réutilisé pour importer des profils en provenance d'un CRM dans la base de données Adobe Campaign. Pour plus d'informations sur tous les paramétrages possibles pour chaque activité, reportez-vous à cette section .
  1. Créez un nouveau modèle de workflow à partir de Ressources > Modèles > Modèles de workflow .
  2. Ajoutez les activités suivantes :
    • Chargement (fichier)  : définissez la structure attendue du fichier contenant les données à importer.
    • Enrichissement  : réconciliez les données importées avec les données se trouvant dans la base de données.
    • Partage  : créez des filtres pour traiter les enregistrements différemment selon qu'ils aient pu ou non être réconciliés.
    • Déduplication  : dédupliquez les données du fichier entrant avant son import dans la base de données.
    • Mise à jour de données  : mettez la base de données à jour avec les profils importés.
  3. Configurez l'activité Chargement (fichier)  :
    • Définissez la structure attendue en téléchargeant un fichier exemple. Le fichier exemple ne doit contenir que quelques lignes mais toutes les colonnes nécessaires pour l'import. Vérifiez et éditez le format du fichier pour vous assurer que le type de chaque colonne est paramétré correctement : texte, date, nombre entier, etc. Par exemple :
      lastname;firstname;birthdate;email;crmID
      Smith;Hayden;23/05/1989;hayden.smith@mailtest.com;123456
      
      
    • Dans la section Nom du fichier à charger , sélectionnez Télécharger un fichier présent sur le poste local et laissez le champ vide. A chaque fois qu'un nouveau workflow sera créé à partir de ce modèle, vous pourrez préciser ici le fichier souhaité (tant qu'il correspond à la structure définie).
      Toutes les options sont utilisables, mais il faut modifier le modèle en conséquence. Par exemple, en sélectionnant Spécifié par la transition , vous pouvez ajouter une activité Transfert de fichier devant pour récupérer le fichier à importer à partir d'un serveur FTP/SFTP. Avec la connexion S3 ou SFTP, vous pouvez également importer des données de segments vers Adobe Campaign avec la plate-forme de données clientes en temps réel d’Adobe. Consultez à ce sujet cette documentation .
  4. Configurez l'activité Enrichissement . Dans ce contexte, le but de cette activité est d'identifier les données entrantes.
    • Dans l'onglet Enrichissement , sélectionnez Ajouter des données et définissez un lien entre les données importées et la dimension de ciblage des destinataires. Dans cet exemple, le champ personnalisé Identifiant dans le CRM permet de créer la condition de jointure. Utilisez le champ ou la combinaison de champs nécessaire tant que l'identification des enregistrements uniques reste possible.
    • Dans l'onglet Réconciliation , laissez l'option Identifier le document de ciblage à partir des données de travail décochée.
  5. Configurez l'activité de Partage pour récupérer les destinataires réconciliés dans une transition, et les destinataires qui n'ont pas pu être réconciliés mais qui disposent de suffisamment de données dans une autre transition.
    La transition des destinataires réconciliés peut alors être utilisée pour mettre à jour la base de données. La transition des destinataires inconnus peut servir à créer de nouvelles entrées de destinataires dans la base de données si un ensemble d’informations minimum est disponible dans le fichier.
    Les destinataires ne pouvant pas être réconciliés et ne disposant pas de suffisamment de données sont sélectionnés dans une transition sortante complémentaire et peuvent être exportés dans un fichier séparé ou tout simplement ignorés.
    • Dans l'onglet Général de l'activité, sélectionnez Utiliser les données additionnelles uniquement comme paramètre de filtrage et vérifiez que la Dimension de ciblage est paramétrée automatiquement sur Enrichissement .
      Cochez l'option Générer le complémentaire pour voir si des enregistrements n'ont pas pu être intégrés dans la base de données. Le cas échéant, vous pourrez alors appliquer d'autres traitements aux données complémentaires : export de fichier, mise à jour de liste, etc.
    • Dans le premier sous-ensemble de l'onglet Sous-ensembles , ajoutez une condition de filtrage sur la population entrante pour sélectionner uniquement les enregistrements pour lesquels la clé primaire du destinataire est différente de 0. De cette manière les données du fichier réconciliées avec les destinataires de la base de données sont sélectionnées dans ce sous-ensemble.
    • Ajoutez un second sous-ensemble pour sélectionner les enregistrements non réconciliés disposant de suffisamment de données pour être intégrés dans la base de données. Par exemple : adresse email, prénom et nom de famille.
      Les sous-ensembles sont traités dans l'ordre dans lequel ils ont été créés, ce qui veut dire que lorsque ce second sous-ensemble est traité, tous les enregistrements qui existent déjà dans la base de données sont déjà sélectionnés dans le premier sous-ensemble.
    • Tous les enregistrement qui ne sont pas sélectionnés dans les deux premiers sous-ensembles sont sélectionnés dans le Complémentaire .
  6. Configurez l'activité Mise à jour de données située après la première transition sortante de l'activité Partage paramétrée précédemment.
    • Sélectionnez Mise à jour comme Type d'opération , puisque la transition entrante contient uniquement des destinataires déjà présents dans la base de données.
    • Dans la section Identification des enregistrements , sélectionnez En utilisant des clés de réconciliation et définissez une clé entre la dimension de ciblage et le lien créé dans l' Enrichissement . Dans cet exemple, le champ personnalisé Identifiant dans le CRM est utilisé.
    • Dans la section Champs à mettre à jour , indiquez les champs de la dimension des destinataires à mettre à jour avec la valeur de la colonne correspondante du fichier. Si les noms des colonnes du fichier sont identiques ou presque identiques aux noms des champs de la dimension des destinataires, utilisez le bouton baguette magique pour réconcilier les différents champs automatiquement.
  7. Configurez l'activité Déduplication située après la transition contenant les destinataires non réconciliés :
    • Sélectionnez Editer la configuration et paramétrez la dimension de ciblage sur le schéma temporaire généré à partir de l'activité Enrichissement du workflow.
    • Dans cet exemple, le champ email est utilisé pour trouver les profils uniques. Vous pouvez utiliser n'importe quel champ dont vous êtes sûr qu'il est rempli et qu'il fait partie d'une combinaison unique.
    • Dans l'écran Méthode de déduplication , sélectionnez Paramètres avancés et cochez l'option Désactiver le filtrage automatique des enregistrements d'identifiant 0 pour veiller à ce que les enregistrements dont la clé primaire est égale à 0 (normalement, tous les enregistrements de cette transition) sont exclus.
  8. Configurez l'activité Mise à jour de données située après l'activité Déduplication paramétrée précédemment.
    • Sélectionnez Insertion comme Type d'opération comme la transition entrante contient uniquement des destinataires non présents dans la base de données.
    • Dans la section Identification des enregistrements , sélectionnez En utilisant directement la dimension de ciblage et choisissez la dimension Destinataires .
    • Dans la section Champs à mettre à jour , indiquez les champs de la dimension des destinataires à mettre à jour avec la valeur de la colonne correspondante du fichier. Si les noms des colonnes du fichier sont identiques ou presque identiques aux noms des champs de la dimension des destinataires, utilisez le bouton baguette magique pour réconcilier les différents champs automatiquement.
  9. Après la troisième transition de l'activité Partage , ajoutez une activité Extraction (fichier) et une activité Transfert de fichier si vous souhaitez conserver une trace des données non intégrées dans la base de données. Paramétrez ces activités afin d'exporter la colonne dont vous avez besoin et de transférer le fichier sur un serveur FTP ou SFTP, où vous pourrez le récupérer.
  10. Ajoutez une activité Fin et enregistrez le modèle de workflow.
Le modèle est à présent utilisable et disponible pour chaque nouveau workflow. Il suffira alors de spécifier le fichier contenant les données à importer dans l'activité Chargement (fichier) .

Décompresser ou déchiffrer un fichier avant traitement

À propos des étapes de prétraitement

Adobe Campaign permet d'importer des fichiers compressés ou chiffrés. Avant qu'un fichier ne puisse être lu dans une activité Chargement (fichier) , vous pouvez définir une étape de prétraitement pour le décompresser ou le déchiffrer.
Pour ce faire :
  1. Utilisez le panneau de Contrôle pour générer une paire de clés publique/privée.
    Le panneau de contrôle est disponible pour tous les clients hébergés sur AWS (à l’exception de ceux qui hébergent leurs instances marketing on-premise).
  2. Si votre installation d'Adobe Campaign est hébergée par Adobe, contactez l’Assistance clientèle d’Adobe afin que les utilitaires nécessaires soient installés sur le serveur.
  3. S'il s'agit d'une installation on-premise, installez l'utilitaire que vous souhaitez utiliser (GPG ou GZIP, par exemple) ainsi que les clés (clé de cryptage) nécessaires sur le serveur applicatif.
Vous pouvez ensuite utiliser les commandes de pré-traitement de votre choix dans les workflows :
  1. Ajoutez et configurez une activité Transfert de fichier dans le workflow.
  2. Ajoutez une activité Chargement (fichier) et définissez le format de fichier.
  3. Cochez l'option Inclure un pré-traitement du fichier .
  4. Spécifiez la commande de pré-traitement à appliquer.
  5. Ajoutez d'autres activités pour gérer les données provenant du fichier.
  6. Enregistrez et exécutez le workflow.
Le cas pratique ci-dessous présente un exemple.
Rubriques connexes :

Cas pratique : import de données cryptées à l’aide d’une clé générée par le panneau de contrôle

Dans ce cas pratique, nous allons créer un workflow afin d’importer des données cryptées dans un système externe, à l’aide d’une clé générée dans le panneau de contrôle.
Un tutoriel vidéo montrant comment utiliser une clé GPG pour décrypter des données est également disponible dans cette section .
Les étapes pour traiter ce cas pratique sont les suivantes :
  1. Utilisez le panneau de contrôle pour générer une paire de clés (publique/privée). Les étapes détaillées sont disponibles dans la documentation du panneau de contrôle .
    • La clé publique sera partagée avec le système externe. Ce dernier l’utilisera pour crypter les données à envoyer à Campaign.
    • Campaign Classic utilisera la clé privée pour décrypter les données cryptées entrantes.
  2. Dans le système externe, utilisez la clé publique téléchargée à l’aide du panneau de contrôle pour crypter les données à importer dans Campaign Classic.
  3. Dans Campaign Classic, créez un workflow pour importer les données cryptées et les décrypter à l’aide de la clé privée installée via le panneau de contrôle. Pour ce faire, nous allons créer un workflow comme suit :
    • Activité Transfert de fichier  : transfère le fichier d’une source externe vers Campaign Classic. Dans cet exemple, nous voulons transférer le fichier depuis un serveur SFTP.
    • Activité Chargement (fichier)  : charge les données du fichier dans la base de données et le décrypte à l’aide de la clé privée générée dans le panneau de contrôle.
  4. Ouvrez l’activité Transfert de fichier , puis spécifiez le compte externe à partir duquel vous souhaitez importer le fichier .gpg crypté.
    Les concepts généraux de configuration de l’activité sont présentés dans cette section .
  5. Ouvrez l’activité Chargement (fichier) , puis configurez-la selon vos besoins. Les concepts généraux de configuration de l’activité sont présentés dans cette section .
    Ajoutez une étape de prétraitement à l’activité pour décrypter les données entrantes. Pour ce faire, sélectionnez l’option Inclure un pré-traitement du fichier , puis copiez-collez cette commande de décryptage dans le champ Commande  :
    gpg --batch --passphrase passphrase --decrypt <%=vars.filename%>
    Dans cet exemple, nous employons la phrase secrète utilisée par défaut par le panneau de contrôle, qui est « passphrase ».
    Si des clés GPG ont déjà été installées sur votre instance par le biais d’une demande du service d’Assistance clientèle, la phrase secrète peut avoir été modifiée et être différente de celle par défaut.
  6. Cliquez sur OK pour valider la configuration de l’activité.
  7. Vous pouvez maintenant exécuter le workflow. Une fois exécuté, vous pouvez vérifier dans les logs de workflow que le décryptage a été effectué et que les données du fichier ont été importées.