Comunicação Digital - Teoria da Informação
A informação é a fonte de um sistema de comunicação, seja analógico ou digital. Information theory é uma abordagem matemática para o estudo da codificação de informações junto com a quantificação, armazenamento e comunicação de informações.
Condições de ocorrência de eventos
Se considerarmos um evento, existem três condições de ocorrência.
Se o evento não ocorreu, existe uma condição de uncertainty.
Se o evento acabou de ocorrer, há uma condição de surprise.
Se o evento ocorreu, há um tempo atrás, existe a condição de haver algum information.
Esses três eventos ocorrem em momentos diferentes. A diferença nessas condições nos ajuda a conhecer as probabilidades de ocorrência de eventos.
Entropia
Quando observamos as possibilidades de ocorrência de um evento, quão surpreendente ou incerto seria, significa que estamos tentando ter uma ideia sobre o conteúdo médio das informações da fonte do evento.
Entropy pode ser definido como uma medida do conteúdo médio de informação por símbolo de fonte. Claude Shannon, o “pai da Teoria da Informação”, forneceu uma fórmula para isso como -
$$ H = - \ sum_ {i} p_i \ log_ {b} p_i $$
Onde pi é a probabilidade de ocorrência do número do personagem i de um determinado fluxo de personagens e bé a base do algoritmo usado. Portanto, isso também é chamado deShannon’s Entropy.
A quantidade de incerteza remanescente sobre a entrada do canal após observar a saída do canal é chamada de Conditional Entropy. É denotado por $ H (x \ mid y) $
Informação mútua
Vamos considerar um canal cuja saída é Y e a entrada é X
Deixe a entropia para a incerteza anterior ser X = H(x)
(Isso é assumido antes que a entrada seja aplicada)
Para saber sobre a incerteza da saída, após a entrada ser aplicada, consideremos a Entropia Condicional, visto que Y = yk
$$ H \ left (x \ mid y_k \ right) = \ sum_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) \ log_ {2} \ left [\ frac {1 } {p (x_j \ mid y_k)} \ right] $$
Esta é uma variável aleatória para $ H (X \ mid y = y_0) \: ... \: ... \: ... \: ... \: ... \: H (X \ mid y = y_k) $ com probabilidades $ p (y_0) \: ... \: ... \: ... \: ... \: p (y_ {k-1)} $ respectivamente.
O valor médio de $ H (X \ mid y = y_k) $ para o alfabeto de saída y é -
$ H \ left (X \ mid Y \ right) = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} H \ left (X \ mid y = y_k \ right) p \ left (y_k \ right ) $
$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j \ mid y_k \ right) p \ left (y_k \ direita) \ log_ {2} \ esquerda [\ frac {1} {p \ esquerda (x_j \ mid y_k \ direita)} \ direita] $
$ = \ displaystyle \ sum \ limits_ {k = 0} ^ {k - 1} \ displaystyle \ sum \ limits_ {j = 0} ^ {j - 1} p \ left (x_j, y_k \ right) \ log_ {2 } \ left [\ frac {1} {p \ left (x_j \ mid y_k \ right)} \ right] $
Agora, considerando ambas as condições de incerteza (antes e depois de aplicar as entradas), chegamos a saber que a diferença, ou seja, $ H (x) - H (x \ mid y) $ deve representar a incerteza sobre a entrada do canal que é resolvida observando a saída do canal.
Isso é chamado de Mutual Information do canal.
Denotando a informação mútua como $ I (x; y) $, podemos escrever tudo em uma equação, como segue
$$ I (x; y) = H (x) - H (x \ mid y) $$
Portanto, esta é a representação equacional da Informação Mútua.
Propriedades da informação mútua
Estas são as propriedades das informações mútuas.
A informação mútua de um canal é simétrica.
$$ I (x; y) = I (y; x) $$
A informação mútua não é negativa.
$$ I (x; y) \ geq 0 $$
A informação mútua pode ser expressa em termos de entropia da saída do canal.
$$ I (x; y) = H (y) - H (y \ mid x) $$
Onde $ H (y \ mid x) $ é uma entropia condicional
A informação mútua de um canal está relacionada à entropia conjunta da entrada e da saída do canal.
$$ I (x; y) = H (x) + H (y) - H (x, y) $$
Onde a entropia conjunta $ H (x, y) $ é definida por
$$ H (x, y) = \ displaystyle \ sum \ limits_ {j = 0} ^ {j-1} \ displaystyle \ sum \ limits_ {k = 0} ^ {k-1} p (x_j, y_k) \ log_ {2} \ left (\ frac {1} {p \ left (x_i, y_k \ right)} \ right) $$
Capacidade do Canal
Até agora, discutimos informações mútuas. A máxima informação mútua média, em um instante de um intervalo de sinalização, quando transmitida por um canal discreto sem memória, as probabilidades da taxa de transmissão máxima confiável de dados, pode ser entendida como achannel capacity.
É denotado por C e é medido em bits per channel usar.
Fonte Discreta Sem Memória
Uma fonte da qual os dados estão sendo emitidos em intervalos sucessivos, que é independente dos valores anteriores, pode ser denominada como discrete memoryless source.
Esta fonte é discreta, pois não é considerada para um intervalo de tempo contínuo, mas em intervalos de tempo discretos. Esta fonte não tem memória porque é nova a cada instante do tempo, sem considerar os valores anteriores.