IA com Python - processamento de linguagem natural

Processamento de linguagem natural (PNL) se refere ao método de IA de comunicação com sistemas inteligentes usando uma linguagem natural como o inglês.

O processamento de linguagem natural é necessário quando você deseja que um sistema inteligente como o robô execute de acordo com suas instruções, quando você deseja ouvir a decisão de um sistema especialista clínico baseado em diálogo, etc.

O campo da PNL envolve fazer com que os computadores executem tarefas úteis com as linguagens naturais que os humanos usam. A entrada e saída de um sistema PNL pode ser -

  • Speech
  • Texto Escrito

Componentes da PNL

Nesta seção, aprenderemos sobre os diferentes componentes da PNL. Existem dois componentes da PNL. Os componentes são descritos abaixo -

Compreensão da linguagem natural (NLU)

Envolve as seguintes tarefas -

  • Mapeamento da entrada fornecida em linguagem natural em representações úteis.

  • Analisando diferentes aspectos da linguagem.

Geração de linguagem natural (NLG)

É o processo de produção de frases e sentenças significativas na forma de linguagem natural a partir de alguma representação interna. Envolve -

  • Text planning - Isso inclui recuperar o conteúdo relevante da base de conhecimento.

  • Sentence planning - Isso inclui escolher as palavras necessárias, formar frases significativas e definir o tom da frase.

  • Text Realization - Este é o mapeamento do plano da frase na estrutura da frase.

Dificuldades em NLU

O NLU é muito rico em forma e estrutura; no entanto, é ambíguo. Pode haver diferentes níveis de ambigüidade -

Ambigüidade lexical

Está em um nível muito primitivo, como o nível das palavras. Por exemplo, tratar a palavra “tabuleiro” como substantivo ou verbo?

Ambiguidade de nível de sintaxe

Uma frase pode ser analisada de diferentes maneiras. Por exemplo, “Ele levantou o besouro com a tampa vermelha”. - Ele usou boné para levantar o besouro ou levantou um besouro que tinha boné vermelho?

Ambigüidade referencial

Referindo-se a algo usando pronomes. Por exemplo, Rima foi para Gauri. Ela disse: “Estou cansada”. - Exatamente quem está cansado?

Terminologia de PNL

Vejamos agora alguns termos importantes na terminologia da PNL.

  • Phonology - É um estudo de organização de som sistematicamente.

  • Morphology - É um estudo de construção de palavras a partir de unidades de sentido primitivas.

  • Morpheme - É uma unidade primitiva de significado em uma linguagem.

  • Syntax- Refere-se a organizar palavras para formar uma frase. Também envolve determinar o papel estrutural das palavras na frase e nas frases.

  • Semantics - Preocupa-se com o significado das palavras e como combiná-las em frases e sentenças significativas.

  • Pragmatics - Lida com o uso e compreensão de frases em diferentes situações e como a interpretação da frase é afetada.

  • Discourse - Trata de como a frase imediatamente anterior pode afetar a interpretação da próxima frase.

  • World Knowledge - Inclui o conhecimento geral sobre o mundo.

Etapas em PNL

Esta seção mostra as diferentes etapas da PNL.

Análise Lexical

Envolve identificar e analisar a estrutura das palavras. Léxico de um idioma significa a coleção de palavras e frases em um idioma. A análise lexical está dividindo todo o pedaço de txt em parágrafos, sentenças e palavras.

Análise sintática (análise)

Envolve a análise gramatical das palavras da frase e a organização das palavras de uma maneira que mostre a relação entre as palavras. A frase como “A escola vai para o menino” é rejeitada pelo analisador sintático inglês.

Análise Semântica

Ele extrai o significado exato ou o significado do dicionário do texto. O texto é verificado quanto ao significado. Isso é feito mapeando estruturas sintáticas e objetos no domínio da tarefa. O analisador semântico desconsidera frases como “sorvete quente”.

Integração de Discurso

O significado de qualquer frase depende do significado da frase imediatamente anterior. Além disso, também traz o significado de frase imediatamente posterior.

Análise Pragmática

Durante isso, o que foi dito é reinterpretado sobre o que realmente significava. Envolve derivar aqueles aspectos da linguagem que requerem conhecimento do mundo real.