Data Warehousing - Processo de Entrega

Um data warehouse nunca é estático; ele evolui à medida que o negócio se expande. Conforme a empresa evolui, seus requisitos continuam mudando e, portanto, um data warehouse deve ser projetado para acompanhar essas mudanças. Portanto, um sistema de data warehouse precisa ser flexível.

Idealmente, deve haver um processo de entrega para entregar um data warehouse. No entanto, os projetos de data warehouse normalmente sofrem de vários problemas que dificultam a conclusão de tarefas e entregas de maneira estrita e ordenada exigida pelo método em cascata. Na maioria das vezes, os requisitos não são totalmente compreendidos. As arquiteturas, projetos e componentes de construção podem ser concluídos somente depois de reunir e estudar todos os requisitos.

Método de Entrega

O método de entrega é uma variante da abordagem de desenvolvimento de aplicativo conjunto adotada para a entrega de um data warehouse. Organizamos o processo de entrega do data warehouse para minimizar os riscos. A abordagem que discutiremos aqui não reduz as escalas de tempo de entrega gerais, mas garante que os benefícios de negócios sejam entregues de forma incremental por meio do processo de desenvolvimento.

Note - O processo de entrega é dividido em fases para reduzir o risco do projeto e da entrega.

O diagrama a seguir explica os estágios do processo de entrega -

Estratégia de TI

Data warehouse são investimentos estratégicos que requerem um processo de negócios para gerar benefícios. A estratégia de TI é necessária para obter e reter fundos para o projeto.

Caso de Negócios

O objetivo do caso de negócios é estimar os benefícios de negócios que devem ser derivados do uso de um data warehouse. Esses benefícios podem não ser quantificáveis, mas os benefícios projetados precisam ser claramente declarados. Se um data warehouse não tiver um caso de negócios claro, o negócio tende a sofrer de problemas de credibilidade em algum estágio durante o processo de entrega. Portanto, em projetos de data warehouse, precisamos entender o caso de negócios para investimento.

Educação e Prototipagem

As organizações experimentam o conceito de análise de dados e se educam sobre o valor de ter um data warehouse antes de se decidir por uma solução. Isso é resolvido pela prototipagem. Ajuda a compreender a viabilidade e os benefícios de um data warehouse. A atividade de prototipagem em pequena escala pode promover o processo educacional, desde que -

  • O protótipo atende a um objetivo técnico definido.

  • O protótipo pode ser descartado após o conceito de viabilidade ter sido mostrado.

  • A atividade trata de um pequeno subconjunto de eventual conteúdo de dados do data warehouse.

  • A escala de tempo da atividade não é crítica.

Os pontos a seguir devem ser mantidos em mente para produzir uma versão antecipada e oferecer benefícios de negócios.

  • Identifique a arquitetura que é capaz de evoluir.

  • Concentre-se nos requisitos de negócios e nas fases do projeto técnico.

  • Limite o escopo da primeira fase de construção ao mínimo que ofereça benefícios de negócios.

  • Compreenda os requisitos de curto e médio prazo do data warehouse.

Requisitos de negócio

Para fornecer resultados de qualidade, devemos garantir que os requisitos gerais sejam compreendidos. Se entendermos os requisitos de negócios de curto e médio prazo, podemos projetar uma solução para atender aos requisitos de curto prazo. A solução de curto prazo pode então ser desenvolvida para uma solução completa.

Os seguintes aspectos são determinados nesta fase -

  • A regra de negócios a ser aplicada aos dados.

  • O modelo lógico para informações no data warehouse.

  • Os perfis de consulta para o requisito imediato.

  • Os sistemas de origem que fornecem esses dados.

Projeto Técnico

Essa fase precisa fornecer uma arquitetura geral que satisfaça os requisitos de longo prazo. Esta fase também fornece os componentes que devem ser implementados em um curto prazo para obter qualquer benefício comercial. O blueprint precisa identificar os seguintes.

  • A arquitetura geral do sistema.
  • A política de retenção de dados.
  • A estratégia de backup e recuperação.
  • A arquitetura do servidor e do data mart.
  • O plano de capacidade de hardware e infraestrutura.
  • Os componentes do design do banco de dados.

Construindo a versão

Nesse estágio, a primeira entrega de produção é produzida. Essa entrega de produção é o menor componente de um data warehouse. Este menor componente adiciona benefícios para os negócios.

Carregar histórico

Esta é a fase em que o restante do histórico necessário é carregado no data warehouse. Nesta fase, não adicionamos novas entidades, mas tabelas físicas adicionais provavelmente seriam criadas para armazenar maiores volumes de dados.

Vamos dar um exemplo. Suponha que a fase de construção da versão forneceu um data warehouse de análise de vendas no varejo com 2 meses de histórico. Essas informações permitirão ao usuário analisar apenas as tendências recentes e abordar os problemas de curto prazo. O usuário, neste caso, não consegue identificar as tendências anuais e sazonais. Para ajudá-lo a fazer isso, o histórico de vendas dos últimos 2 anos pode ser carregado do arquivo. Agora, os dados de 40 GB foram estendidos para 400 GB.

Note - Os procedimentos de backup e recuperação podem se tornar complexos, portanto, é recomendável realizar esta atividade em uma fase separada.

Consulta Ad hoc

Nesta fase, configuramos uma ferramenta de consulta ad hoc que é usada para operar um data warehouse. Essas ferramentas podem gerar a consulta do banco de dados.

Note - Recomenda-se não usar essas ferramentas de acesso quando o banco de dados estiver sendo substancialmente modificado.

Automação

Nesta fase, os processos de gestão operacional são totalmente automatizados. Isso incluiria -

  • Transformar os dados em um formato adequado para análise.

  • Monitorar perfis de consulta e determinar agregações apropriadas para manter o desempenho do sistema.

  • Extração e carregamento de dados de diferentes sistemas de origem.

  • Gerando agregações a partir de definições predefinidas no data warehouse.

  • Backup, restauração e arquivamento dos dados.

Ampliando o escopo

Nesta fase, o data warehouse é estendido para atender a um novo conjunto de requisitos de negócios. O escopo pode ser estendido de duas maneiras -

  • Carregando dados adicionais no data warehouse.

  • Introduzindo novos data marts usando as informações existentes.

Note - Esta fase deve ser realizada separadamente, pois envolve grande esforço e complexidade.

Evolução de Requisitos

Do ponto de vista do processo de entrega, os requisitos são sempre mutáveis. Eles não são estáticos. O processo de entrega deve suportar isso e permitir que essas mudanças sejam refletidas no sistema.

Esse problema é solucionado com o projeto do data warehouse em torno do uso de dados em processos de negócios, em oposição aos requisitos de dados de consultas existentes.

A arquitetura é projetada para mudar e crescer para atender às necessidades de negócios, o processo opera como um processo de desenvolvimento de pseudo-aplicativo, onde os novos requisitos são continuamente alimentados nas atividades de desenvolvimento e as entregas parciais são produzidas. Essas entregas parciais são retornadas aos usuários e depois retrabalhadas, garantindo que o sistema geral seja continuamente atualizado para atender às necessidades de negócios.