Show Menu
TÓPICOS×

O arquivo Transform.cfg

O arquivo data workbenchTransform.cfg contém os parâmetros que definem as fontes de log, as transformações de dados e os exportadores.
As transformações que você define manipulam dados brutos coletados por Sensores ( .vsl arquivos) ou contidos em arquivos de texto, arquivos XML ou bancos de dados compatíveis com ODBC e os realizam em campos existentes, substituindo os dados atuais ou em campos recém-definidos.
Para configurar a funcionalidade de transformação, edite o arquivo da análise de big data na pasta Conjunto de dados para o perfil para o qual deseja exportar os dados do evento. Transform.cfg Normalmente, esse perfil é dedicado à funcionalidade de transformação (ou seja, você não executa outro processamento de dados além do que é definido no arquivo da análise de big data Transform.cfg ). É importante observar que quaisquer instruções de processamento especificadas nos Log Processing Dataset Include arquivos para qualquer perfil herdado são aplicadas além daquelas especificadas no arquivo da análise de big data Transform.cfg .
Para obter informações sobre arquivos de inclusão de conjuntos de dados, consulte Arquivos de inclusão de conjuntos de dados.
Se os dados que você deseja exportar forem processados por um cluster de servidores de análise de big data, cada um dos servidores de processamento (DPUs) no cluster processará os dados, mas somente a primeira DPU (servidor de processamento nº 0 no profile.cfg arquivo) gravará os dados de saída em seu sistema de arquivos local.
Para editar o arquivo Transform.cfg da análise de big data
  1. Ao trabalhar no perfil para o qual você deseja exportar dados, abra o arquivo Profile Manager e clique em Dataset para mostrar o conteúdo do diretório.
  2. Clique com o botão direito do mouse na marca de seleção ao lado da análise de big data Transform.cfge clique em Make Local . Uma marca de seleção para este arquivo é exibida na User coluna.
  3. Clique com o botão direito do mouse na marca de seleção recém-criada e clique em Open > from the workbench . A janela da análise de big data Transform.cfg é exibida.
  4. Edite os parâmetros no arquivo de configuração usando a tabela abaixo como guia:
Parâmetro Descrição
Hora de término
Opcional. Filtre os dados para incluir entradas de log com carimbos de data e hora até, mas não incluindo, desta vez. A Adobe recomenda usar um dos seguintes formatos para o tempo:
  • 1 de janeiro de 2013HH:MM:SS EDT
  • Jan 1 2013 HH:MM:SS GMT
Por exemplo, especificar 29 de julho de 2013 00:00:00 EDT como a Hora de Término inclui dados até 28 de julho de 2013, às 11:59:59 EDT.
Você deve especificar um fuso horário. O fuso horário não assumirá GMT como padrão se não for especificado. Para obter uma lista de abreviações de fuso horário suportadas pelo servidor da análise de big data, consulte Códigos de fuso horário .
O parâmetro Use Start/End Times para Sensor e fontes de arquivos de log está relacionado a esse parâmetro.
Exportadores
Os subcampos de um exportador especificam como os dados de saída são processados e/ou formatados. É possível definir vários exportadores para um conjunto de fontes de log. Cada tipo de exportador cria uma produção independente.
Existem três tipos de exportadores:
  • ExportTextFile
  • ExportDelimitedTextFile
  • ExportVSLFile
Para obter mais informações sobre tipos de exportadores, consulte Definindo Exportadores .
Limite de hash Opcional. Um fator de amostragem para a subamostragem aleatória de linhas. Se definido como um número n, somente uma de cada n IDs de rastreamento é selecionada para exportação, reduzindo o número total de linhas exportadas por um fator de n. Para exportar todas as linhas, defina o Limite de hash como 1.
Condição de entrada do registro Opcional. Define as regras pelas quais as entradas de log são consideradas para exportação. Para obter mais informações sobre a Condição de entrada do registro , consulte Arquivo de configuração de processamento de log .
Fontes de registro
As fontes de dados. As fontes de log podem ser arquivos .vsl, arquivos de log ou arquivos XML ou dados de bancos de dados compatíveis com ODBC. Para obter informações sobre fontes de log, consulte Arquivo de configuração de processamento de log Sobre o arquivo de configuração de processamento de log .
A Transform espera que todos os dados de origem estejam em ordem cronológica nos arquivos de entrada lexicograficamente ordenados. Se este requisito não for cumprido, os cálculos A partir de estão incorretos e os dados de entrada adicionais podem ser processados depois de os arquivos de saída serem fechados.
Modo offline
Opcional. Verdadeiro ou falso. Se verdadeiro, a Transform assume que todos os arquivos de entrada estejam presentes quando iniciar o processamento dos dados. Quando todos os dados de entrada forem lidos, a Transformação fechará todos os arquivos de saída sem esperar que dados adicionais sejam recebidos. O valor padrão é false.
Observação: Se o Modo offline estiver definido como true, o Transform espera que todos os dados de origem estejam presentes antes do início do processamento. Uma mensagem de aviso é gerada no arquivo VisualServer.log se dados adicionais forem recebidos depois que os arquivos de saída forem fechados.
Reprocessar
Opcional. Qualquer caractere ou combinação de caracteres pode ser inserida aqui. Alterar esse parâmetro e salvar o arquivo na máquina Transformar inicia o reprocessamento de dados.
Para obter informações sobre como reprocessar seus dados, consulte Reprocessamento e Retransformação .
Estágios
Opcional. Os nomes dos estágios de processamento que podem ser usados no Conjunto de Dados de Processamento de Log incluem arquivos que são executados além do arquivo Transform.cfg da análise de big data . As etapas de processamento fornecem uma maneira de solicitar as transformações definidas nos arquivos Incluir conjuntos de dados de processamento de log. Esse parâmetro é muito útil se você tiver definido uma ou mais transformações em vários arquivos Incluir conjuntos de dados de processamento de log e desejar que transformações específicas sejam executadas em pontos específicos durante o processo de exportação.
A ordem em que você lista os estágios aqui determina a ordem em que as transformações nos arquivos Incluir do Conjunto de Dados de Processamento de Log são executadas durante a exportação de dados. O pré-processamento e o pós-processamento são fases integradas; O pré-processamento é sempre o primeiro estágio, e o pós-processamento é sempre o último estágio. Por padrão, há uma etapa nomeada chamada Padrão .
Para adicionar uma nova etapa de processamento
  • Na janela Transform.cfg da análise de big data, clique com o botão direito do mouse em Estágios e, em seguida, clique em Adicionar novo > Palco .
  • Insira um nome para o novo estágio.
Para excluir um estágio de processamento existente
  • Clique com o botão direito do mouse no número correspondente ao estágio que deseja excluir e clique em Remover < #stage_number > .
Observação: Quando você especifica um Palco em um arquivo Incluir de Conjunto de Dados de Processamento de Log, o nome do estágio deve corresponder exatamente ao nome inserido aqui. Para obter mais informações sobre o conjunto de dados incluir arquivos, consulte Conjunto de dados Incluir arquivos .
Hora inicial
Opcional. Filtre os dados para incluir entradas de log com carimbos de data e hora nesse momento ou depois dele. A Adobe recomenda usar um dos seguintes formatos para o tempo:
  • 1 de janeiro de 2013 HH:MM:SS EDT
  • Jan 1 2013 HH:MM:SS GMT
Por exemplo, especificar 29 de julho de 2013 00:00:00 EDT como Hora de início inclui dados que começam a partir de 29 de julho de 2013, às 12:00:00 EDT.
Você deve especificar um fuso horário. O fuso horário não assumirá GMT como padrão se não for especificado. Para obter uma lista de abreviações de fuso horário suportadas pelo servidor da análise de big data, consulte Códigos de fuso horário .
Observação: O parâmetro Use Start/End Times para Sensor e fontes de arquivos de log está relacionado a esse parâmetro.
Transformações
Opcional. Define as transformações que devem ser aplicadas aos dados. Para obter informações sobre os tipos de transformação disponíveis, consulte Transformações de dados .
Observação: Os seguintes tipos de transformação não funcionam quando definidos no arquivo Transform.cfg da análise de big data :
  • AppendURI
  • CrossRows
  • ODBCLookup
  • Sessionize
Se dados adicionais forem recebidos depois que os arquivos de saída forem fechados (consulte Log Sources e Offline Mode na tabela anterior), Transform criará novos arquivos de saída com os dados adicionais. Os nomes dos novos arquivos de saída são gerados a partir do nome do arquivo de saída original com a adição de um número de versão entre parênteses logo antes da extensão. Por exemplo, se o arquivo de saída original for 20070701-ABC.vsl, as versões subsequentes desse arquivo serão nomeadas 20070701-ABC(1).vsl, 20070701-ABC(2).vsle assim por diante. Observe que o uso dos arquivos com versão como entrada no servidor da análise de big data pode resultar em erros de processamento.
A Adobe recomenda evitar a criação de arquivos de saída com versão, certificando-se de que todos os dados de origem estejam em ordem cronológica dentro de arquivos de entrada ordenados lexicograficamente e, se Offline Mode estiver definido como true, que todos os dados de origem estejam presentes antes do início do processamento. Para obter mais informações, consulte as entradas Log Sources e Offline Mode na tabela anterior.
  1. Adicione transformações clicando com o botão direito do mouse Transformations e clicando em Add new > Transformation type . Preencha os campos de transformação.
    Consulte Transformações de dados para obter descrições e exemplos das transformações que podem ser usadas com a funcionalidade de transformação.
  2. Clique com o botão direito do mouse (modified) na parte superior da janela e clique em Save .
  3. Para que as alterações feitas localmente entrem em vigor, no Profile Manager, clique com o botão direito do mouse na marca de seleção da análise de big data Transform.cfg na User coluna, em seguida, clique em Save to > profile name , onde nome do perfil é o nome do perfil para o qual você está exportando dados. O reprocessamento dos dados começa após a sincronização do perfil.
    Para obter informações sobre como reprocessar seus dados para exportação, consulte Reprocessamento e Retransformação .