Visão geral do Catalog Service
O Catalog Service é o sistema de registro para localização e linhagem de dados na Adobe Experience Platform. Embora todos os dados assimilados na Experience Platform sejam armazenados no Data Lake como arquivos e diretórios, o Catalog retém os metadados e a descrição desses arquivos e diretórios para fins de pesquisa e monitoramento.
Simplificando, o Catalog atua como um armazenamento de metadados ou “catálogo”, onde você pode encontrar informações sobre seus dados na Experience Platform. Você pode usar o Catalog para responder às seguintes perguntas:
- Onde meus dados estão localizados?
- Em que fase de processamento se encontram esses dados?
- Quais sistemas ou processos atuaram em meus dados?
- Quantos dados foram processados com sucesso?
- Quais erros ocorreram durante o processamento?
O Catalog fornece uma API RESTful que permite gerenciar programaticamente os metadados da Platform utilizando operações CRUD básicas. Consulte o Guia do desenvolvedor do catálogo para obter mais informações.
Serviços do Catalog e da Experience Platform
Os recursos que o Catalog Service rastreia são usados por vários serviços da Experience Platform. Para aproveitar ao máximo os recursos do Catalog’s, recomendamos que você se familiarize com esses serviços e como eles interagem com o Catalog.
Sistema de Experience Data Model (XDM)
O Sistema de Experience Data Model (XDM) é a estrutura padronizada pela qual a Platform organiza os dados de experiência do cliente. A Experience Platform utiliza esquemas XDM para descrever a estrutura dos dados de forma consistente e reutilizável.
Quando os dados são assimilados na Platform, a estrutura desses dados é mapeada para um esquema XDM e armazenada no Data Lake como parte de um conjunto de dados. Os metadados de cada conjunto de dados são rastreados pelo Catalog Service, que inclui uma referência ao esquema XDM com o qual o conjunto de dados está em conformidade.
Para obter informações mais gerais sobre o Sistema de XDM, consulte a Visão geral do Sistema de XDM.
Data Ingestion
A Experience Platform assimila dados de várias origens e mantém registros como conjuntos de dados no Data Lake. O Catalog rastreia os metadados desses conjuntos de dados, independentemente da origem ou do método de assimilação.
Ao utilizar o método de assimilação em lote, o Catalog também rastreia metadados adicionais para arquivos em lote. Lotes são unidades de dados que consistem em um ou mais arquivos que serão assimilados como uma única unidade. O Catalog rastreia os metadados desses arquivos em lote, bem como os conjuntos de dados em que eles são mantidos após a assimilação. Os metadados de lote incluem informações sobre o número de registros assimilados com sucesso, bem como os registros com falha e mensagens de erro associadas.
Consulte a visão geral da assimilação de dados para obter mais informações.
Objetos do Catalog
Conforme descrito na seção anterior, o Catalog rastreia metadados para vários tipos de recursos e operações usados por outros serviços da Platform. O Catalog mantém seu próprio armazenamento de “objetos” que encapsulam esses metadados. Os objetos do Catalog são representações consultáveis de dados da Platform que permitem pesquisar, monitorar e rotular os dados sem precisar acessá-los.
A tabela a seguir descreve os diferentes tipos de objetos aceitos pelo Catalog:
/batches/dataSets/datasetFilesPróximas etapas
Este documento forneceu uma introdução ao Catalog Service e como ele funciona dentro do escopo mais amplo da Experience Platform. Consulte o Catalog guia do desenvolvedor para conferir as etapas de interação com diferentes pontos de acesso da API do Catalog. É recomendável que você também consulte o guia sobre Filtragem de dados do catálogo para saber as práticas recomendadas para limitar os dados retornados nas respostas da API.