Mineração de dados - problemas
A mineração de dados não é uma tarefa fácil, pois os algoritmos usados podem ficar muito complexos e os dados nem sempre estão disponíveis em um só lugar. Ele precisa ser integrado a partir de várias fontes de dados heterogêneas. Esses fatores também criam alguns problemas. Aqui neste tutorial, discutiremos as principais questões relacionadas a -
- Metodologia de mineração e interação do usuário
- Problemas de desempenho
- Problemas de diversos tipos de dados
O diagrama a seguir descreve os principais problemas.
Metodologia de mineração e problemas de interação do usuário
Refere-se aos seguintes tipos de problemas -
Mining different kinds of knowledge in databases- Diferentes usuários podem estar interessados em diferentes tipos de conhecimento. Portanto, é necessário que a mineração de dados cubra uma ampla gama de tarefas de descoberta de conhecimento.
Interactive mining of knowledge at multiple levels of abstraction - O processo de mineração de dados precisa ser interativo porque permite que os usuários concentrem a busca de padrões, fornecendo e refinando as solicitações de mineração de dados com base nos resultados retornados.
Incorporation of background knowledge- Para orientar o processo de descoberta e expressar os padrões descobertos, o conhecimento prévio pode ser usado. O conhecimento prévio pode ser usado para expressar os padrões descobertos não apenas em termos concisos, mas em vários níveis de abstração.
Data mining query languages and ad hoc data mining - Linguagem de consulta de mineração de dados que permite ao usuário descrever tarefas de mineração ad hoc, deve ser integrada com uma linguagem de consulta de data warehouse e otimizada para mineração de dados eficiente e flexível.
Presentation and visualization of data mining results- Uma vez que os padrões são descobertos, eles precisam ser expressos em linguagens de alto nível e representações visuais. Essas representações devem ser facilmente compreensíveis.
Handling noisy or incomplete data- Os métodos de limpeza de dados são necessários para lidar com o ruído e objetos incompletos durante a mineração das regularidades dos dados. Se os métodos de limpeza de dados não estiverem lá, a precisão dos padrões descobertos será ruim.
Pattern evaluation - Os padrões descobertos devem ser interessantes porque representam um conhecimento comum ou carecem de novidade.
Problemas de desempenho
Pode haver problemas relacionados ao desempenho, como a seguir -
Efficiency and scalability of data mining algorithms - Para extrair efetivamente as informações de uma grande quantidade de dados em bancos de dados, o algoritmo de mineração de dados deve ser eficiente e escalonável.
Parallel, distributed, and incremental mining algorithms- Os fatores como o grande tamanho dos bancos de dados, ampla distribuição de dados e a complexidade dos métodos de mineração de dados motivam o desenvolvimento de algoritmos de mineração de dados paralelos e distribuídos. Esses algoritmos dividem os dados em partições, que são posteriormente processadas de maneira paralela. Em seguida, os resultados das partições são mesclados. Os algoritmos incrementais atualizam bancos de dados sem extrair os dados novamente do zero.
Problemas de diversos tipos de dados
Handling of relational and complex types of data - O banco de dados pode conter objetos de dados complexos, objetos de dados multimídia, dados espaciais, dados temporais, etc. Não é possível para um sistema extrair todos esses tipos de dados.
Mining information from heterogeneous databases and global information systems- Os dados estão disponíveis em diferentes fontes de dados na LAN ou WAN. Essas fontes de dados podem ser estruturadas, semiestruturadas ou não estruturadas. Portanto, extrair o conhecimento deles adiciona desafios à mineração de dados.