Data Warehousing - Conceitos
O que é Data Warehousing?
Data warehousing é o processo de construção e uso de um data warehouse. Um data warehouse é construído integrando dados de várias fontes heterogêneas que oferecem suporte a relatórios analíticos, consultas estruturadas e / ou ad hoc e tomada de decisões. O data warehouse envolve limpeza de dados, integração de dados e consolidações de dados.
Usando informações de data warehouse
Existem tecnologias de suporte à decisão que ajudam a utilizar os dados disponíveis em um data warehouse. Essas tecnologias ajudam os executivos a usar o warehouse de forma rápida e eficaz. Eles podem coletar dados, analisá-los e tomar decisões com base nas informações presentes no warehouse. As informações coletadas em um warehouse podem ser usadas em qualquer um dos seguintes domínios -
Tuning Production Strategies - As estratégias de produto podem ser bem ajustadas reposicionando os produtos e gerenciando os portfólios de produtos comparando as vendas trimestrais ou anuais.
Customer Analysis - A análise do cliente é feita analisando as preferências de compra do cliente, tempo de compra, ciclos de orçamento, etc.
Operations Analysis- O armazenamento de dados também auxilia na gestão do relacionamento com o cliente e nas correções ambientais. As informações também nos permitem analisar as operações comerciais.
Integrando Bancos de Dados Heterogêneos
Para integrar bancos de dados heterogêneos, temos duas abordagens -
- Abordagem baseada em consulta
- Abordagem baseada em atualização
Abordagem baseada em consulta
Esta é a abordagem tradicional para integrar bancos de dados heterogêneos. Essa abordagem foi usada para construir wrappers e integradores em cima de vários bancos de dados heterogêneos. Esses integradores também são conhecidos como mediadores.
Processo de abordagem orientada a consultas
Quando uma consulta é emitida para o lado do cliente, um dicionário de metadados traduz a consulta em um formato apropriado para sites heterogêneos individuais envolvidos.
Agora, essas consultas são mapeadas e enviadas para o processador de consultas local.
Os resultados de sites heterogêneos são integrados em um conjunto de respostas global.
Desvantagens
A abordagem baseada em consulta precisa de processos complexos de integração e filtragem.
Essa abordagem é muito ineficiente.
É muito caro para consultas frequentes.
Essa abordagem também é muito cara para consultas que requerem agregações.
Abordagem baseada em atualização
Esta é uma alternativa à abordagem tradicional. Os sistemas de data warehouse de hoje seguem uma abordagem baseada em atualizações, em vez da abordagem tradicional discutida anteriormente. Na abordagem baseada em atualização, as informações de várias fontes heterogêneas são integradas com antecedência e armazenadas em um warehouse. Essas informações estão disponíveis para consulta e análise direta.
Vantagens
Essa abordagem tem as seguintes vantagens -
Esta abordagem oferece alto desempenho.
Os dados são copiados, processados, integrados, anotados, resumidos e reestruturados no armazenamento de dados semânticos com antecedência.
O processamento de consultas não requer uma interface para processar dados em fontes locais.
Funções de ferramentas e utilitários de data warehouse
A seguir estão as funções de ferramentas e utilitários de data warehouse -
Data Extraction - Envolve a coleta de dados de várias fontes heterogêneas.
Data Cleaning - Envolve encontrar e corrigir os erros nos dados.
Data Transformation - Envolve a conversão dos dados do formato legado para o formato de warehouse.
Data Loading - Envolve classificar, resumir, consolidar, verificar a integridade e construir índices e partições.
Refreshing - Envolve a atualização de fontes de dados para o warehouse.
Note - A limpeza e transformação de dados são etapas importantes para melhorar a qualidade dos dados e os resultados da mineração de dados.