Teste ETL - Transformações de dados
A execução de transformações de dados é um pouco complexa, pois não pode ser obtida escrevendo uma única consulta SQL e, em seguida, comparando a saída com o destino. Para ETL Testing Data Transformation, pode ser necessário escrever várias consultas SQL para cada linha para verificar as regras de transformação.
Para começar, certifique-se de que os dados de origem sejam suficientes para testar todas as regras de transformação. A chave para realizar um teste ETL bem-sucedido para transformações de dados é escolher os dados de amostra corretos e suficientes do sistema de origem para aplicar as regras de transformação.
As principais etapas para a transformação de dados de teste ETL estão listadas abaixo -
A primeira etapa é criar uma lista de cenários de dados de entrada e os resultados esperados e validá-los com o cliente empresarial. Essa é uma boa abordagem para reunir requisitos durante o design e também pode ser usada como parte do teste.
A próxima etapa é criar os dados de teste que contêm todos os cenários. Utilize um desenvolvedor de ETL para automatizar todo o processo de preenchimento dos conjuntos de dados com a planilha de cenário para permitir versatilidade e mobilidade, pois os cenários podem mudar.
Em seguida, utilize os resultados do perfil de dados para comparar o intervalo e o envio de valores em cada campo entre os dados de destino e de origem.
Valide o processamento preciso de campos gerados por ETL, por exemplo, chaves substitutas.
Os tipos de dados de validação no warehouse são os mesmos que foram especificados no modelo ou design de dados.
Crie cenários de dados entre tabelas que testam a integridade referencial.
Valide os relacionamentos de pai para filho nos dados.
A etapa final é realizar lookup transformation. Sua consulta de pesquisa deve ser direta, sem qualquer agregação, e deve retornar apenas um valor por tabela de origem. Você pode associar diretamente a tabela de pesquisa no qualificador de origem como no teste anterior. Se este não for o caso, escreva uma consulta juntando a tabela de pesquisa com a tabela principal na origem e compare os dados nas colunas correspondentes no destino.