Melhore os tempos de processamento do arquivo de log com tabelas de pesquisa improve-log-file-processing-times-with-lookup-tables

Coloque dados nos arquivos de log do relatório de Desempenho de entrega em tabelas que contenham apenas IDs. Coloque metadados não ID em tabelas de pesquisa separadas para ajudar a reduzir o tamanho do arquivo e os tempos de processamento.

Os metadados do arquivo de log aumentam o tamanho do arquivo e o tempo de processamento

Um arquivo de log típico usado pelo Delivery Performance O relatório do geralmente contém milhares de linhas e dezenas de colunas. Ele consiste em IDs numéricas e informações legíveis por humanos, como nomes de criadores, anunciantes, pedidos de inserção etc.

Essas informações não-ID são chamadas de metadata (ou seja, informações sobre outras informações) e são gravadas em cada linha do arquivo de log.

No entanto, a Delivery Performance O relatório do funciona principalmente com as IDs no arquivo de log do. Os metadados são úteis, mas repetitivos. Ele aumenta o tamanho do arquivo e o tempo de assimilação dos dados.

Reduza o tamanho do arquivo e o tempo de processamento com tabelas de índice

Para ajudar a melhorar o desempenho, o arquivo de dados principal deve conter apenas IDs. Coloque metadados em uma tabela de pesquisa (ou índice) separada e vincule esses registros ao arquivo principal com uma variável principal comum a ambos.

Como as tabelas de pesquisa reduzem o tamanho do arquivo

Digamos que você tenha um arquivo de dados semelhante ao abaixo.

Aqui está o mesmo arquivo de log com os metadados removidos. O arquivo é menor e mais fácil de processar quando consiste apenas em IDs.

O arquivo de pesquisa abaixo contém os metadados e pode ser vinculado ao arquivo principal com a ID do anúncio. Observe o tamanho também. Em vez de repetir cada anunciante várias vezes, você precisa apenas de uma referência para cada um.

As APIs podem eliminar a necessidade de tabelas de pesquisa

Se o sistema de veiculação de anúncios tiver uma API, talvez não seja necessário enviar metadados em um arquivo de pesquisa. Podemos obter essas informações por meio da API. Quando esse for o caso, os arquivos de log deverão conter somente IDs. Trabalharemos com você para determinar se os metadados podem ser obtidos por meio de uma API.