PNL - Desambiguação do Word Sense
Entendemos que as palavras têm significados diferentes com base no contexto de seu uso na frase. Se falamos sobre línguas humanas, elas também são ambíguas, porque muitas palavras podem ser interpretadas de várias maneiras, dependendo do contexto em que ocorrem.
A desambiguação do sentido da palavra, no processamento de linguagem natural (PNL), pode ser definida como a habilidade de determinar qual significado de palavra é ativado pelo uso da palavra em um contexto particular. A ambigüidade lexical, sintática ou semântica, é um dos primeiros problemas que qualquer sistema de PNL enfrenta. Os identificadores de parte da fala (POS) com alto nível de precisão podem resolver a ambigüidade sintática do Word. Por outro lado, o problema de resolver a ambigüidade semântica é chamado WSD (desambiguação do sentido da palavra). Resolver a ambigüidade semântica é mais difícil do que resolver a ambigüidade sintática.
Por exemplo, considere os dois exemplos dos sentidos distintos que existem para a palavra “bass” -
Eu posso ouvir sons graves.
Ele gosta de comer robalo grelhado.
A ocorrência da palavra bassdenota claramente o significado distinto. Na primeira frase, significafrequency e em segundo lugar, significa fish. Portanto, se fosse eliminado a ambigüidade por WSD, o significado correto para as sentenças acima pode ser atribuído da seguinte forma -
Consigo ouvir sons graves / de frequência.
Ele gosta de comer robalo / peixe grelhado.
Avaliação de WSD
A avaliação do WSD requer as duas entradas a seguir -
Um dicionário
A primeira entrada para avaliação do WSD é o dicionário, que é usado para especificar os sentidos a serem eliminados.
Test Corpus
Outra entrada exigida pelo WSD é o corpus de teste com anotações altas que tem o alvo ou os sentidos corretos. Os corpora de teste podem ser de dois tipos & minsu;
Lexical sample - Este tipo de corpora é usado no sistema, onde é necessário desambiguar uma pequena amostra de palavras.
All-words - Este tipo de corpora é usado no sistema, onde se espera desambiguar todas as palavras em um trecho de texto corrido.
Abordagens e métodos para desambiguação de sentido de palavras (WSD)
As abordagens e métodos para WSD são classificados de acordo com a fonte de conhecimento usada na desambiguação de palavras.
Vejamos agora os quatro métodos convencionais para WSD -
Métodos baseados em dicionário ou baseados em conhecimento
Como o nome sugere, para desambiguação, esses métodos dependem principalmente de dicionários, tesouros e base de conhecimento lexical. Eles não usam evidências de corpora para desambiguação. O método Lesk é o método seminal baseado em dicionário introduzido por Michael Lesk em 1986. A definição de Lesk, na qual o algoritmo de Lesk é baseado é“measure overlap between sense definitions for all words in context”. No entanto, em 2000, Kilgarriff e Rosensweig deram a definição simplificada de Lesk como“measure overlap between sense definitions of word and current context”, que significa ainda identificar o sentido correto para uma palavra de cada vez. Aqui, o contexto atual é o conjunto de palavras em torno da frase ou do parágrafo.
Métodos Supervisionados
Para desambiguação, os métodos de aprendizado de máquina usam corpora com anotações de sentido para treinar. Esses métodos presumem que o contexto pode fornecer evidências suficientes por si mesmo para eliminar a ambigüidade do sentido. Nestes métodos, as palavras conhecimento e raciocínio são consideradas desnecessárias. O contexto é representado como um conjunto de “características” das palavras. Inclui também as informações sobre as palavras circundantes. Máquina de vetores de suporte e aprendizado baseado em memória são as abordagens de aprendizado supervisionado mais bem-sucedidas para WSD. Esses métodos contam com uma quantidade substancial de corpora manualmente com marcação de sentido, que é muito caro para criar.
Métodos Semi-Supervisionados
Devido à falta de corpus de treinamento, a maioria dos algoritmos de desambiguação de sentido de palavra usa métodos de aprendizado semissupervisionado. É porque os métodos semissupervisionados usam dados marcados e não marcados. Esses métodos requerem uma quantidade muito pequena de texto anotado e uma grande quantidade de texto simples não anotado. A técnica usada pelos métodos semissupervisionados é a inicialização a partir dos dados iniciais.
Métodos não supervisionados
Esses métodos pressupõem que sentidos semelhantes ocorrem em contextos semelhantes. É por isso que os sentidos podem ser induzidos a partir do texto agrupando ocorrências de palavras usando alguma medida de similaridade do contexto. Essa tarefa é chamada de indução ou discriminação do sentido da palavra. Métodos não supervisionados têm grande potencial para superar o gargalo de aquisição de conhecimento devido à não dependência de esforços manuais.
Aplicações de Desambiguação de Sentido de Palavras (WSD)
A desambiguação de sentido de palavra (WSD) é aplicada em quase todas as aplicações de tecnologia de linguagem.
Vamos agora ver o escopo do WSD -
Maquina de tradução
A tradução automática ou MT é a aplicação mais óbvia do WSD. Na MT, a escolha lexical para as palavras que possuem traduções distintas para diferentes sentidos, é feita pelo WSD. Os sentidos em MT são representados como palavras no idioma de destino. A maioria dos sistemas de tradução automática não usa módulo WSD explícito.
Recuperação de informações (IR)
A recuperação de informação (IR) pode ser definida como um programa de software que lida com a organização, armazenamento, recuperação e avaliação de informações de repositórios de documentos, particularmente informações textuais. O sistema basicamente ajuda os usuários a encontrar as informações de que precisam, mas não retorna explicitamente as respostas das perguntas. WSD é usado para resolver as ambigüidades das consultas fornecidas ao sistema IR. Assim como o MT, os sistemas de IR atuais não usam explicitamente o módulo WSD e contam com o conceito de que o usuário digitaria contexto suficiente na consulta para recuperar apenas os documentos relevantes.
Mineração de texto e extração de informações (IE)
Na maioria dos aplicativos, o WSD é necessário para fazer uma análise precisa do texto. Por exemplo, o WSD ajuda o sistema de coleta inteligente a sinalizar as palavras corretas. Por exemplo, o sistema médico inteligente pode precisar de sinalização de "drogas ilegais" em vez de "drogas médicas"
Lexicografia
WSD e lexicografia podem trabalhar juntos em loop porque a lexicografia moderna é baseada em corpus. Com a lexicografia, o WSD fornece agrupamentos de sentido empírico aproximado, bem como indicadores contextuais de sentido estatisticamente significativos.
Dificuldades na desambiguação do sentido de palavras (WSD)
A seguir estão algumas dificuldades enfrentadas pela desambiguação do sentido das palavras (WSD) -
Diferenças entre dicionários
O maior problema do WSD é decidir o sentido da palavra porque diferentes sentidos podem estar intimamente relacionados. Mesmo diferentes dicionários e tesauros podem fornecer diferentes divisões de palavras em sentidos.
Diferentes algoritmos para diferentes aplicações
Outro problema do WSD é que um algoritmo completamente diferente pode ser necessário para aplicativos diferentes. Por exemplo, na tradução automática, assume a forma de seleção de palavra-alvo; e na recuperação de informações, um inventário de sentido não é necessário.
Variância entre juízes
Outro problema do WSD é que os sistemas WSD geralmente são testados tendo seus resultados em uma tarefa comparados com a tarefa de seres humanos. Isso é chamado de problema de variação entre juízes.
Discrição de sentido de palavra
Outra dificuldade no WSD é que as palavras não podem ser facilmente divididas em subentendidos discretos.