Análise de Dados - Processo
Análise de dados é um processo de coleta, transformação, limpeza e modelagem de dados com o objetivo de descobrir as informações necessárias. Os resultados assim obtidos são comunicados, sugerindo conclusões e subsidiando a tomada de decisões. A visualização de dados às vezes é usada para retratar os dados para a facilidade de descobrir os padrões úteis nos dados. Os termos Modelagem de Dados e Análise de Dados significam o mesmo.
O Processo de Análise de Dados consiste nas seguintes fases que são iterativas por natureza -
- Especificação de Requisitos de Dados
- Coleção de dados
- Processamento de dados
- Limpeza de Dados
- Análise de dados
- Communication
Especificação de Requisitos de Dados
Os dados necessários para a análise são baseados em uma pergunta ou experimento. Com base nos requisitos daqueles que dirigem a análise, os dados necessários como entradas para a análise são identificados (por exemplo, População de pessoas). Variáveis específicas relacionadas a uma população (por exemplo, idade e renda) podem ser especificadas e obtidas. Os dados podem ser numéricos ou categóricos.
Coleção de dados
A coleta de dados é o processo de coleta de informações sobre as variáveis alvo identificadas como requisitos de dados. A ênfase está em garantir uma coleta de dados precisa e honesta. A coleta de dados garante que os dados coletados sejam precisos, de forma que as decisões relacionadas sejam válidas. A coleta de dados fornece uma linha de base para medir e uma meta para melhorar.
Os dados são coletados de várias fontes, desde bancos de dados organizacionais até as informações em páginas da web. Os dados assim obtidos podem não estar estruturados e podem conter informações irrelevantes. Portanto, os dados coletados devem ser submetidos ao Processamento de Dados e à Limpeza de Dados.
Processamento de dados
Os dados coletados devem ser processados ou organizados para análise. Isso inclui estruturar os dados conforme necessário para as Ferramentas de Análise relevantes. Por exemplo, os dados podem ter que ser colocados em linhas e colunas em uma tabela dentro de uma planilha ou aplicativo estatístico. Pode ser necessário criar um modelo de dados.
Limpeza de Dados
Os dados processados e organizados podem estar incompletos, conter duplicatas ou conter erros. Limpeza de dados é o processo de prevenção e correção desses erros. Existem vários tipos de limpeza de dados que dependem do tipo de dados. Por exemplo, ao limpar os dados financeiros, certos totais podem ser comparados com números publicados confiáveis ou limites definidos. Da mesma forma, métodos de dados quantitativos podem ser usados para detecção de outliers que seriam subsequentemente excluídos na análise.
Análise de dados
Os dados processados, organizados e limpos estariam prontos para a análise. Várias técnicas de análise de dados estão disponíveis para entender, interpretar e derivar conclusões com base nos requisitos. A visualização de dados também pode ser usada para examinar os dados em formato gráfico, para obter informações adicionais sobre as mensagens nos dados.
Modelos de dados estatísticos como correlação, análise de regressão podem ser usados para identificar as relações entre as variáveis de dados. Esses modelos que são descritivos dos dados são úteis para simplificar a análise e comunicar os resultados.
O processo pode exigir Limpeza de Dados ou Coleta de Dados adicionais e, portanto, essas atividades são iterativas por natureza.
Comunicação
Os resultados da análise de dados devem ser relatados em um formato conforme exigido pelos usuários para apoiar suas decisões e ações futuras. O feedback dos usuários pode resultar em análises adicionais.
Os analistas de dados podem escolher técnicas de visualização de dados, como tabelas e gráficos, que auxiliam na comunicação da mensagem de forma clara e eficiente aos usuários. As ferramentas de análise fornecem facilidade para destacar as informações necessárias com códigos de cores e formatação em tabelas e gráficos.