Data Warehousing - Conceitos de Metadados
O que são metadados?
Metadados são simplesmente definidos como dados sobre dados. Os dados usados para representar outros dados são conhecidos como metadados. Por exemplo, o índice de um livro serve como metadado para o conteúdo do livro. Em outras palavras, podemos dizer que metadados são os dados resumidos que nos conduzem aos dados detalhados. Em termos de data warehouse, podemos definir metadados da seguinte maneira.
Metadados são o roteiro para um data warehouse.
Os metadados em um data warehouse definem os objetos do warehouse.
Os metadados atuam como um diretório. Este diretório ajuda o sistema de suporte à decisão a localizar o conteúdo de um data warehouse.
Note- Em um data warehouse, criamos metadados para os nomes e definições de dados de um determinado data warehouse. Junto com esses metadados, metadados adicionais também são criados para registrar a data e hora de quaisquer dados extraídos, a fonte dos dados extraídos.
Categorias de Metadados
Os metadados podem ser amplamente categorizados em três categorias -
Business Metadata - Ele contém as informações de propriedade dos dados, definição de negócios e políticas de alteração.
Technical Metadata- Inclui nomes de sistema de banco de dados, nomes e tamanhos de tabelas e colunas, tipos de dados e valores permitidos. Os metadados técnicos também incluem informações estruturais, como atributos e índices de chave primária e estrangeira.
Operational Metadata- Inclui moeda de dados e linhagem de dados. Moeda dos dados significa se os dados estão ativos, arquivados ou eliminados. Linhagem de dados significa o histórico de dados migrados e a transformação aplicada a eles.
Papel dos Metadados
Os metadados têm uma função muito importante em um data warehouse. A função dos metadados em um warehouse é diferente dos dados do warehouse, mas desempenha um papel importante. As várias funções dos metadados são explicadas a seguir.
Os metadados atuam como um diretório.
Este diretório ajuda o sistema de suporte à decisão a localizar o conteúdo do data warehouse.
Os metadados auxiliam no sistema de apoio à decisão para mapeamento de dados quando os dados são transformados do ambiente operacional para o ambiente de data warehouse.
Metadados ajudam na sumarização entre dados detalhados atuais e dados altamente resumidos.
Os metadados também ajudam na sumarização entre dados levemente detalhados e dados altamente resumidos.
Metadados são usados para ferramentas de consulta.
Metadados são usados em ferramentas de extração e limpeza.
Metadados são usados em ferramentas de relatório.
Metadados são usados em ferramentas de transformação.
Os metadados desempenham um papel importante nas funções de carregamento.
O diagrama a seguir mostra as funções dos metadados.
Repositório de Metadados
O repositório de metadados é parte integrante de um sistema de data warehouse. Possui os seguintes metadados -
Definition of data warehouse- Inclui a descrição da estrutura do data warehouse. A descrição é definida por esquema, visualização, hierarquias, definições de dados derivados e locais e conteúdos de data mart.
Business metadata - Ele contém as informações de propriedade dos dados, definição de negócios e políticas de alteração.
Operational Metadata- Inclui moeda de dados e linhagem de dados. Moeda dos dados significa se os dados estão ativos, arquivados ou eliminados. Linhagem de dados significa o histórico de dados migrados e a transformação aplicada a eles.
Data for mapping from operational environment to data warehouse - Inclui os bancos de dados de origem e seu conteúdo, extração de dados, limpeza de partição de dados, regras de transformação, atualização de dados e regras de eliminação.
Algorithms for summarization - Inclui algoritmos de dimensão, dados sobre granularidade, agregação, resumo, etc.
Desafios para gerenciamento de metadados
A importância dos metadados não pode ser exagerada. Os metadados ajudam a direcionar a precisão dos relatórios, valida a transformação de dados e garante a precisão dos cálculos. Os metadados também reforçam a definição de termos de negócios para usuários finais de negócios. Com todos esses usos de metadados, ele também tem seus desafios. Alguns dos desafios são discutidos abaixo.
Os metadados em uma grande organização estão espalhados por toda a organização. Esses metadados são espalhados em planilhas, bancos de dados e aplicativos.
Os metadados podem estar presentes em arquivos de texto ou arquivos multimídia. Para usar esses dados para soluções de gerenciamento de informações, eles devem ser definidos corretamente.
Não há padrões aceitos em todo o setor. Os fornecedores de soluções de gerenciamento de dados têm um foco estreito.
Não existem métodos fáceis e aceitos para passar metadados.