Teste ETL - Automação
O teste de ETL é feito principalmente com scripts SQL e coleta de dados em planilhas. Essa abordagem para realizar o teste ETL é muito lenta e demorada, sujeita a erros e é realizada em dados de amostra.
Desafio técnico no teste manual de ETL
Sua equipe de teste ETL grava consultas SQL para testar dados em um sistema de warehouse e eles precisam executá-los manualmente usando um editor SQL e, em seguida, colocar os dados em uma planilha do Excel e compará-los manualmente. Esse processo consome muito tempo, exige muitos recursos e é ineficiente.
Existem diversas ferramentas disponíveis no mercado para automatizar esse processo. As ferramentas de teste de ETL mais comuns são QuerySurge e Informatica Data Validation.
QuerySurge
QuerySurge é uma solução de teste de dados projetada para testar Big Data, Data Warehouses e o processo ETL. Ele pode automatizar todo o processo para você e se encaixar perfeitamente em sua estratégia de DevOps.
Os principais recursos do QuerySurge são os seguintes -
Possui Query Wizards para criar QueryPairs de teste rápida e facilmente, sem que o usuário tenha que escrever SQL.
Ele tem uma biblioteca de projetos com snippets de consulta reutilizáveis. Você também pode criar QueryPairs personalizados.
Ele pode comparar dados de arquivos de origem e armazenamentos de dados com o Data Warehouse de destino ou armazenamento de Big Data.
Ele pode comparar milhões de linhas e colunas de dados em minutos.
Ele permite ao usuário agendar testes para execução (1) imediatamente, (2) qualquer data / hora ou (3) automaticamente após o término de um evento.
Ele pode produzir relatórios informativos, visualizar atualizações e resultados por e-mail automático para sua equipe.
Para automatizar todo o processo, sua ferramenta ETL deve iniciar o QuerySurge por meio da API de linha de comando após o software ETL concluir o processo de carregamento.
O QuerySurge será executado automaticamente e sem supervisão, executando todos os testes e, em seguida, enviando os resultados por e-mail a todos da equipe.
Assim como o QuerySurge, o Informatica Data Validation fornece uma ferramenta de teste ETL que ajuda você a acelerar e automatizar o processo de teste ETL no ambiente de desenvolvimento e produção. Ele permite que você forneça cobertura de teste completa, repetível e auditável em menos tempo. Não requer habilidades de programação!