ETL - Funções do testador

Um testador ETL é o principal responsável por validar as fontes de dados, extração de dados, aplicação de lógica de transformação e carregamento de dados nas tabelas de destino.

As principais responsabilidades de um testador ETL estão listadas abaixo.

Verifique as tabelas no sistema de origem

Envolve as seguintes operações -

  • Verificação de contagem
  • Reconciliar registros com os dados de origem
  • Verificação de tipo de dados
  • Certifique-se de que nenhum dado de spam foi carregado
  • Remover dados duplicados
  • Verifique se todas as chaves estão no lugar

Aplicar lógica de transformação

A lógica de transformação é aplicada antes de carregar os dados. Envolve as seguintes operações -

  • Verificação de validação de limite de dados, por exemplo, o valor da idade não deve ser superior a 100.

  • Verificação da contagem de registros, antes e depois da aplicação da lógica de transformação.

  • Validação de fluxo de dados da área de preparação para as tabelas intermediárias.

  • Verificação da chave substituta.

Carregando Dados

Os dados são carregados da área de teste para o sistema de destino. Envolve as seguintes operações -

  • Verificação da contagem de registros da tabela intermediária para o sistema de destino.

  • Certifique-se de que os dados do campo-chave não estejam ausentes ou nulos.

  • Verifique se os valores agregados e as medidas calculadas foram carregados nas tabelas de fatos.

  • Verifique as visualizações de modelagem com base nas tabelas de destino.

  • Verifique se o CDC foi aplicado na tabela de carregamento incremental.

  • Verificação de dados na tabela de dimensões e verificação da tabela de histórico.

  • Verifique os relatórios de BI com base na tabela de fatos e dimensões carregada e de acordo com os resultados esperados.

Testando as ferramentas ETL

Testadores de ETL são necessários para testar as ferramentas e os casos de teste também. Envolve as seguintes operações -

  • Teste a ferramenta ETL e suas funções
  • Teste o sistema ETL Data Warehouse
  • Crie, projete e execute os planos e casos de teste.
  • Teste as transferências de dados de arquivo simples.