AI - Processamento de Linguagem Natural

Processamento de linguagem natural (PNL) se refere ao método de IA de comunicação com sistemas inteligentes usando uma linguagem natural como o inglês.

O processamento de linguagem natural é necessário quando você deseja que um sistema inteligente como o robô execute de acordo com suas instruções, quando você deseja ouvir a decisão de um sistema especialista clínico baseado em diálogo, etc.

O campo da PNL envolve fazer computadores para realizar tarefas úteis com as linguagens naturais que os humanos usam. A entrada e saída de um sistema PNL pode ser -

  • Speech
  • Texto Escrito

Componentes da PNL

Existem dois componentes da PNL -

Compreensão da linguagem natural (NLU)

A compreensão envolve as seguintes tarefas -

  • Mapeamento da entrada fornecida em linguagem natural em representações úteis.
  • Analisando diferentes aspectos da linguagem.

Geração de linguagem natural (NLG)

É o processo de produção de frases e sentenças significativas na forma de linguagem natural a partir de alguma representação interna.

Envolve -

  • Text planning - Inclui a recuperação do conteúdo relevante da base de conhecimento.

  • Sentence planning - Inclui a escolha das palavras necessárias, a formação de frases significativas, a definição do tom da frase.

  • Text Realization - Está mapeando o plano da frase na estrutura da frase.

O NLU é mais difícil do que o NLG.

Dificuldades em NLU

NL tem uma forma e estrutura extremamente ricas.

É muito ambíguo. Pode haver diferentes níveis de ambigüidade -

  • Lexical ambiguity - Está em um nível muito primitivo, como nível de palavra.

  • Por exemplo, tratar a palavra “tabuleiro” como substantivo ou verbo?

  • Syntax Level ambiguity - Uma frase pode ser analisada de diferentes maneiras.

  • Por exemplo, “Ele levantou o besouro com a tampa vermelha”. - Ele usou boné para levantar o besouro ou levantou um besouro que tinha boné vermelho?

  • Referential ambiguity- Referindo-se a algo usando pronomes. Por exemplo, Rima foi para Gauri. Ela disse: “Estou cansada”. - Exatamente quem está cansado?

  • Uma entrada pode ter significados diferentes.

  • Muitas entradas podem significar a mesma coisa.

Terminologia de PNL

  • Phonology - É um estudo de organização de som sistematicamente.

  • Morphology - É um estudo de construção de palavras a partir de unidades de sentido primitivas.

  • Morpheme - É a unidade primitiva de significado em uma linguagem.

  • Syntax- Refere-se a organizar palavras para formar uma frase. Também envolve determinar o papel estrutural das palavras na frase e nas frases.

  • Semantics - Preocupa-se com o significado das palavras e como combiná-las em frases e sentenças significativas.

  • Pragmatics - Lida com o uso e compreensão de frases em diferentes situações e como a interpretação da frase é afetada.

  • Discourse - Trata de como a frase imediatamente anterior pode afetar a interpretação da próxima frase.

  • World Knowledge - Inclui o conhecimento geral sobre o mundo.

Etapas em PNL

Existem cinco etapas gerais -

  • Lexical Analysis- Envolve identificar e analisar a estrutura das palavras. Léxico de um idioma significa a coleção de palavras e frases em um idioma. A análise lexical está dividindo todo o pedaço de txt em parágrafos, sentenças e palavras.

  • Syntactic Analysis (Parsing)- Envolve a análise das palavras da frase quanto à gramática e a organização das palavras de maneira a mostrar a relação entre as palavras. A frase como “A escola vai para o menino” é rejeitada pelo analisador sintático inglês.

  • Semantic Analysis- Retira o significado exato ou o significado do dicionário do texto. O texto é verificado quanto ao significado. Isso é feito mapeando estruturas sintáticas e objetos no domínio da tarefa. O analisador semântico desconsidera frases como “sorvete quente”.

  • Discourse Integration- O significado de qualquer frase depende do significado da frase imediatamente anterior. Além disso, também traz o significado de frase imediatamente posterior.

  • Pragmatic Analysis- Durante isso, o que foi dito é reinterpretado sobre o que realmente significava. Envolve derivar aqueles aspectos da linguagem que requerem conhecimento do mundo real.

Aspectos de implementação da análise sintática

Há uma série de algoritmos que os pesquisadores desenvolveram para análise sintática, mas consideramos apenas os seguintes métodos simples -

  • Gramática Livre de Contexto
  • Analisador de cima para baixo

Vamos vê-los em detalhes -

Gramática Livre de Contexto

É a gramática que consiste em regras com um único símbolo no lado esquerdo das regras de reescrita. Vamos criar uma gramática para analisar uma frase -

“O pássaro bica os grãos”

Articles (DET)- a | an | a

Nouns- pássaro | pássaros | grão | grãos

Noun Phrase (NP)- Artigo + Substantivo | Artigo + Adjetivo + Substantivo

= DET N | DET ADJ N

Verbs- bicadas | bicadas | bicado

Verb Phrase (VP)- NP V | V NP

Adjectives (ADJ)- lindo | pequeno | chilrear

A árvore de análise divide a frase em partes estruturadas para que o computador possa compreender e processar facilmente. Para que o algoritmo de análise construa esta árvore de análise, um conjunto de regras de reescrita, que descreve quais estruturas de árvore são legais, precisa ser construído.

Essas regras dizem que um determinado símbolo pode ser expandido na árvore por uma sequência de outros símbolos. De acordo com a regra lógica de primeira ordem, se houver duas cadeias de caracteres Noun Phrase (NP) e Verb Phrase (VP), então a cadeia combinada por NP seguida por VP é uma frase. As regras de reescrita para a frase são as seguintes -

S → NP VP

NP → DET N | DET ADJ N

VP → V NP

Lexocon −

DET → a | a

ADJ → linda | empoleirar-se

N → pássaro | pássaros | grão | grãos

V → picar | beijos | bicadas

A árvore de análise pode ser criada como mostrado -

Agora considere as regras de reescrita acima. Uma vez que V pode ser substituído por ambos, "peck" ou "pecks", frases como "O pássaro bica os grãos" podem ser erroneamente permitidas. isto é, o erro de concordância sujeito-verbo é aprovado como correto.

Merit - O estilo mais simples de gramática, portanto amplamente utilizado.

Demerits −

  • Eles não são altamente precisos. Por exemplo, “Os grãos bicam o pássaro”, é sintaticamente correto de acordo com o analisador, mas mesmo que não faça sentido, o analisador a considera uma frase correta.

  • Para obter alta precisão, vários conjuntos de gramática precisam ser preparados. Pode exigir um conjunto de regras completamente diferente para analisar variações singulares e plurais, sentenças passivas, etc., o que pode levar à criação de um conjunto enorme de regras que são incontroláveis.

Analisador de cima para baixo

Aqui, o analisador começa com o símbolo S e tenta reescrevê-lo em uma sequência de símbolos terminais que correspondem às classes das palavras na frase de entrada até que consista inteiramente de símbolos terminais.

Estes são então verificados com a frase de entrada para ver se ela corresponde. Caso contrário, o processo é reiniciado com um conjunto diferente de regras. Isso é repetido até que uma regra específica que descreva a estrutura da frase seja encontrada.

Merit - É simples de implementar.

Demerits −

  • É ineficiente, pois o processo de pesquisa deve ser repetido se ocorrer um erro.
  • Velocidade lenta de trabalho.