Processamento de linguagem natural - Introdução

A linguagem é um meio de comunicação com o qual podemos falar, ler e escrever. Por exemplo, pensamos, tomamos decisões, planos e muito mais em linguagem natural; precisamente, em palavras. No entanto, a grande questão que nos confronta nesta era da IA ​​é que podemos nos comunicar de maneira semelhante com os computadores. Em outras palavras, os seres humanos podem se comunicar com computadores em sua linguagem natural? É um desafio para nós desenvolver aplicativos de PNL porque os computadores precisam de dados estruturados, mas a fala humana não é estruturada e muitas vezes é ambígua por natureza.

Nesse sentido, podemos dizer que Processamento de Linguagem Natural (PNL) é o subcampo da Ciência da Computação, especialmente Inteligência Artificial (IA) que se preocupa em permitir que os computadores entendam e processem a linguagem humana. Tecnicamente, a principal tarefa da PNL seria programar computadores para analisar e processar uma grande quantidade de dados de linguagem natural.

História da PNL

Dividimos a história da PNL em quatro fases. As fases têm interesses e estilos distintos.

Primeira fase (fase de tradução automática) - Final dos anos 1940 ao final dos anos 1960

O trabalho realizado nesta fase incidiu principalmente na tradução automática (TA). Esta fase foi um período de entusiasmo e otimismo.

Vamos agora ver tudo o que a primeira fase tinha nele -

  • A pesquisa sobre PNL começou no início da década de 1950 após a investigação de Booth & Richens e o memorando de Weaver sobre tradução automática em 1949.

  • 1954 foi o ano em que um experimento limitado de tradução automática do russo para o inglês foi demonstrado no experimento Georgetown-IBM.

  • No mesmo ano, teve início a publicação da revista MT (Tradução Automática).

  • A primeira conferência internacional sobre tradução automática (MT) foi realizada em 1952 e a segunda em 1956.

  • Em 1961, o trabalho apresentado na Teddington International Conference on Machine Translation of Languages ​​and Applied Language analysis foi o ponto alto dessa fase.

Segunda fase (fase influenciada por IA) - Final dos anos 1960 ao final dos anos 1970

Nesta fase, o trabalho realizado relacionou-se fundamentalmente com o conhecimento de mundo e sobre o seu papel na construção e manipulação das representações de sentido. É por isso que essa fase também é chamada de fase com sabor de AI.

A fase tinha nele, o seguinte -

  • No início de 1961, o trabalho começou com os problemas de endereçamento e construção de dados ou base de conhecimento. Este trabalho foi influenciado pela IA.

  • No mesmo ano, um sistema de perguntas e respostas BASEBALL também foi desenvolvido. A entrada para este sistema era restrita e o processamento da linguagem envolvido era simples.

  • Um sistema muito avançado foi descrito em Minsky (1968). Este sistema, quando comparado com o sistema de perguntas e respostas BASEBALL, foi reconhecido e previu a necessidade de inferência sobre a base de conhecimento na interpretação e resposta ao input da linguagem.

Terceira fase (fase gramático-lógica) - Final dos anos 1970 ao final dos anos 1980

Esta fase pode ser descrita como a fase gramatical lógica. Devido ao fracasso da construção prática do sistema na última fase, os pesquisadores passaram a usar a lógica para representação e raciocínio do conhecimento em IA.

A terceira fase tinha o seguinte -

  • A abordagem gramatical-lógica, no final da década, nos ajudou com poderosos processadores de frases de propósito geral, como o Core Language Engine e a Teoria de Representação do Discurso do SRI, que ofereceu um meio de lidar com um discurso mais extenso.

  • Nesta fase, obtivemos alguns recursos e ferramentas práticas como analisadores, por exemplo, Alvey Natural Language Tools junto com sistemas mais operacionais e comerciais, por exemplo, para consulta de banco de dados.

  • O trabalho sobre o léxico na década de 1980 também apontou na direção da abordagem gramaticalista.

Quarta Fase (Fase Lexical e Corpus) - Década de 1990

Podemos descrever isso como uma fase lexical e corpus. A fase tinha uma abordagem lexicalizada da gramática que apareceu no final dos anos 1980 e se tornou uma influência crescente. Houve uma revolução no processamento de linguagem natural nesta década com a introdução de algoritmos de aprendizado de máquina para processamento de linguagem.

Estudo de Línguas Humanas

A linguagem é um componente crucial para a vida humana e também o aspecto mais fundamental de nosso comportamento. Podemos experimentá-lo principalmente de duas formas - escrita e falada. Na forma escrita, é uma forma de passar nosso conhecimento de uma geração para a outra. Na forma falada, é o principal meio para os seres humanos se coordenarem em seu comportamento diário. O idioma é estudado em várias disciplinas acadêmicas. Cada disciplina vem com seu próprio conjunto de problemas e um conjunto de soluções para resolvê-los.

Considere a seguinte tabela para entender isso -

Disciplina Problemas Ferramentas

Lingüistas

Como frases e sentenças podem ser formadas com palavras?

O que restringe o possível significado de uma frase?

Intuições sobre boa formação e significado.

Modelo matemático de estrutura. Por exemplo, semântica teórica do modelo, teoria da linguagem formal.

Psicolinguistas

Como os seres humanos podem identificar a estrutura das frases?

Como o significado das palavras pode ser identificado?

Quando ocorre a compreensão?

Técnicas experimentais principalmente para medir o desempenho de seres humanos.

Análise estatística de observações.

Filósofos

Como as palavras e frases adquirem o significado?

Como os objetos são identificados pelas palavras?

O que significa?

Argumentação em linguagem natural por meio da intuição.

Modelos matemáticos como lógica e teoria dos modelos.

Lingüistas Computacionais

Como podemos identificar a estrutura de uma frase

Como o conhecimento e o raciocínio podem ser modelados?

Como podemos usar a linguagem para realizar tarefas específicas?

Algoritmos

Estruturas de dados

Modelos formais de representação e raciocínio.

Técnicas de IA, como métodos de pesquisa e representação.

Ambiguidade e incerteza na linguagem

A ambigüidade, geralmente usada no processamento de linguagem natural, pode ser referida como a capacidade de ser compreendido de mais de uma maneira. Em termos simples, podemos dizer que ambigüidade é a capacidade de ser compreendido de mais de uma maneira. A linguagem natural é muito ambígua. A PNL tem os seguintes tipos de ambigüidades -

Ambiguidade Lexical

A ambigüidade de uma única palavra é chamada de ambigüidade lexical. Por exemplo, tratar a palavrasilver como substantivo, adjetivo ou verbo.

Ambiguidade sintática

Esse tipo de ambigüidade ocorre quando uma frase é analisada de maneiras diferentes. Por exemplo, a frase “O homem viu a menina com o telescópio”. É ambíguo se o homem viu a garota carregando um telescópio ou se a viu através de seu telescópio.

Ambiguidade Semântica

Esse tipo de ambigüidade ocorre quando o significado das próprias palavras pode ser mal interpretado. Em outras palavras, a ambigüidade semântica ocorre quando uma frase contém uma palavra ou frase ambígua. Por exemplo, a frase “O carro bateu no poste enquanto estava em movimento” apresenta ambigüidade semântica porque as interpretações podem ser “O carro, ao se mover, bateu no poste” e “O carro bateu no poste enquanto o poste estava em movimento”.

Ambiguidade anafórica

Esse tipo de ambigüidade surge devido ao uso de entidades anáforas no discurso. Por exemplo, o cavalo subiu a colina correndo. Era muito íngreme. Ele logo se cansou. Aqui, a referência anafórica de “isso” em duas situações causa ambigüidade.

Ambiguidade pragmática

Esse tipo de ambigüidade se refere à situação em que o contexto de uma frase fornece múltiplas interpretações. Em palavras simples, podemos dizer que a ambigüidade pragmática surge quando o enunciado não é específico. Por exemplo, a frase “Eu também gosto de você” pode ter múltiplas interpretações como eu gosto de você (assim como você gosta de mim), eu gosto de você (assim como alguém dose).

Fases da PNL

O diagrama a seguir mostra as fases ou etapas lógicas no processamento de linguagem natural -

Processamento Morfológico

É a primeira fase da PNL. O objetivo desta fase é quebrar pedaços de entrada de linguagem em conjuntos de tokens correspondentes a parágrafos, frases e palavras. Por exemplo, uma palavra como“uneasy” pode ser dividido em dois tokens de subpalavra como “un-easy”.

Análise de sintaxe

É a segunda fase da PNL. O objetivo dessa fase é duplo: verificar se uma frase está bem formada ou não e dividi-la em uma estrutura que mostre as relações sintáticas entre as diferentes palavras. Por exemplo, a frase como“The school goes to the boy” seria rejeitado pelo analisador de sintaxe ou analisador.

Análise Semântica

É a terceira fase da PNL. O objetivo desta fase é extrair o significado exato, ou você pode dizer o significado do dicionário a partir do texto. O texto é verificado quanto ao significado. Por exemplo, o analisador semântico rejeitaria uma frase como “Sorvete quente”.

Análise Pragmática

É a quarta fase da PNL. A análise pragmática simplesmente ajusta os objetos / eventos reais, que existem em um determinado contexto, com as referências de objetos obtidas durante a última fase (análise semântica). Por exemplo, a frase “Coloque a banana na cesta da prateleira” pode ter duas interpretações semânticas e o analisador pragmático escolherá entre essas duas possibilidades.