Teoria da Informação

A informação é a fonte de um sistema de comunicação, seja analógico ou digital. Information theory é uma abordagem matemática para o estudo da codificação de informações junto com a quantificação, armazenamento e comunicação de informações.

Condições de ocorrência de eventos

Se considerarmos um evento, existem três condições de ocorrência.

  • Se o evento não ocorreu, existe uma condição de uncertainty.

  • Se o evento acabou de ocorrer, há uma condição de surprise.

  • Se o evento ocorreu, há um tempo atrás, existe a condição de haver algum information.

Portanto, esses três ocorrem em momentos diferentes. A diferença nestas condições, ajuda-nos a ter um conhecimento das probabilidades de ocorrência dos eventos.

Entropia

Quando observamos as possibilidades de ocorrência de um evento, seja o quão surpreendente ou incerto ele seria, significa que estamos tentando ter uma ideia sobre o conteúdo médio das informações da fonte do evento.

Entropy pode ser definido como uma medida do conteúdo médio de informação por símbolo de fonte. Claude Shannon, o "pai da Teoria da Informação", deu uma fórmula para isso como

$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$

Onde $ p_i $ é a probabilidade de ocorrência do número do caractere ide um determinado fluxo de caracteres eb é a base do algoritmo usado. Portanto, isso também é chamado deShannon’s Entropy.

A quantidade de incerteza remanescente sobre a entrada do canal após observar a saída do canal é chamada de Conditional Entropy. É denotado por $ H (x \ arrowvert y) $

Fonte Discreta Sem Memória

Uma fonte da qual os dados estão sendo emitidos em intervalos sucessivos, que é independente dos valores anteriores, pode ser denominada como discrete memoryless source.

Esta fonte é discreta, pois não é considerada para um intervalo de tempo contínuo, mas em intervalos de tempo discretos. Esta fonte é destituída de memória, uma vez que é renovada a cada instante do tempo, sem considerar os valores anteriores.

Código Fonte

De acordo com a definição, “Dada uma fonte discreta sem memória de entropia $ H (\ delta) $, o comprimento médio da palavra-código $ \ bar {L} $ para qualquer codificação de origem é limitado como $ \ bar {L} \ geq H (\ delta) $ ”.

Em palavras mais simples, a palavra-código (por exemplo: código Morse para a palavra QUEUE é -.- ..-. ..-.) É sempre maior ou igual ao código-fonte (QUEUE no exemplo). O que significa que os símbolos na palavra de código são maiores ou iguais aos alfabetos no código-fonte.

Codificação de Canal

A codificação do canal em um sistema de comunicação, introduz redundância com um controle, de forma a melhorar a confiabilidade do sistema. A codificação de origem reduz a redundância para melhorar a eficiência do sistema.

A codificação do canal consiste em duas partes de ação.

  • Mapping sequência de dados de entrada em uma sequência de entrada de canal.

  • Inverse mapping a sequência de saída do canal em uma sequência de dados de saída.

O objetivo final é que o efeito geral do ruído do canal seja minimizado.

O mapeamento é feito pelo transmissor, com o auxílio de um codificador, enquanto o mapeamento inverso é feito no receptor por um decodificador.