Entropia (teoria da informação)

Entropia (informacional)- uma medida da aleatoriedade da informação, a incerteza do aparecimento de qualquer caractere do alfabeto primário. Na ausência de perda de informação, é numericamente igual à quantidade de informação por símbolo da mensagem transmitida.

Por exemplo, em uma sequência de letras que compõem uma frase em russo, letras diferentes aparecem em frequências diferentes, de modo que a incerteza de ocorrência para algumas letras é menor do que para outras. Se levarmos em conta que algumas combinações de letras (neste caso falamos de entropia nª ordem, veja ) são muito raras, então a incerteza é ainda mais reduzida.

Para ilustrar o conceito de entropia informacional, pode-se também recorrer a um exemplo do campo da entropia termodinâmica, chamado de demônio de Maxwell. Os conceitos de informação e entropia têm conexões profundas entre si, mas, apesar disso, o desenvolvimento de teorias em mecânica estatística e teoria da informação levou muitos anos para fazê-los corresponder um ao outro.

Definições formais

Definição usando informações próprias

Também é possível determinar a entropia de uma variável aleatória introduzindo primeiro os conceitos de distribuição de uma variável aleatória X, que tem um número finito de valores: EU(X) = −log P X (X). Então a entropia será definida como: A unidade de medida de informação e entropia depende da base do logaritmo: bit, nat ou hartley.

Entropia da informação para eventos aleatórios independentes x com n estados possíveis (de 1 a n) é calculado pela fórmula:

Esse valor também é chamado entropia média da mensagem. O valor é chamado entropia privada caracterizando apenas eu-Estado.

Assim, a entropia do evento xé a soma com o sinal oposto de todos os produtos das frequências relativas de ocorrência do evento eu multiplicados por seus próprios logaritmos binários (a base 2 é escolhida apenas pela conveniência de trabalhar com informações apresentadas em formato binário). Esta definição para eventos aleatórios discretos pode ser estendida para uma função de distribuição de probabilidade.

Em geral b-ar entropia(Onde bé igual a 2, 3, …) fontes com alfabeto inicial e distribuição de probabilidade discreta onde p eué a probabilidade uma eu (p eu = p(uma eu) ) é determinado pela fórmula:

A definição da entropia de Shannon está relacionada ao conceito de entropia termodinâmica. Boltzmann e Gibbs trabalharam muito em termodinâmica estatística, o que contribuiu para a aceitação da palavra "entropia" na teoria da informação. Existe uma conexão entre a entropia termodinâmica e informacional. Por exemplo, o demônio de Maxwell também contrasta a entropia termodinâmica da informação, e ganhar qualquer quantidade de informação é igual à entropia perdida.

Definição alternativa

Outra maneira de definir a função de entropia Hé a prova de que Hé determinado exclusivamente (como declarado anteriormente) se e somente se H satisfaz as condições:

Propriedades

É importante lembrar que entropia é uma quantidade definida no contexto de um modelo probabilístico para uma fonte de dados. Por exemplo, um lançamento de moeda tem uma entropia de −2(0,5log 2 0,5) = 1 bit por lançamento (supondo que seja independente). Uma fonte que gera uma string composta apenas pelas letras "A" tem entropia zero: . Assim, por exemplo, pode-se estabelecer empiricamente que a entropia de um texto em inglês é de 1,5 bits por caractere, o que obviamente varia para diferentes textos. O grau de entropia de uma fonte de dados significa o número médio de bits por elemento de dados necessários para criptografá-lo sem perda de informação, com codificação ideal.

1. Alguns bits de dados podem não transportar informações. Por exemplo, as estruturas de dados geralmente armazenam informações redundantes ou têm seções idênticas, independentemente das informações na estrutura de dados.
2. A quantidade de entropia nem sempre é expressa como um número inteiro de bits.

Propriedades matemáticas

Eficiência

O alfabeto inicial encontrado na prática tem uma distribuição de probabilidade que está longe de ser ótima. Se o alfabeto original tivesse n caracteres, então pode ser comparado a um "alfabeto otimizado" cuja distribuição de probabilidade é uniforme. A razão da entropia do alfabeto original e otimizado é a eficiência do alfabeto original, que pode ser expressa em porcentagem.

Segue-se disso que a eficiência do alfabeto original com n símbolos podem ser definidos simplesmente como iguais aos seus n entropia -ária.

A entropia limita a compressão máxima possível sem perdas (ou quase sem perdas) que pode ser realizada usando um conjunto teoricamente típico ou, na prática, codificação Huffman, codificação Lempel-Ziv-Welch ou codificação aritmética.

Variações e Generalizações

Entropia condicional

Se a sequência de caracteres alfabéticos não for independente (por exemplo, em francês, a letra “q” é quase sempre seguida de “u” e após a palavra “líder” nos jornais soviéticos, a palavra “produção” ou “trabalho” era geralmente seguido), a quantidade de informação transportada na sequência de tais símbolos (e, portanto, a entropia) é obviamente menor. A entropia condicional é usada para explicar tais fatos.

A entropia condicional de primeira ordem (semelhante ao modelo de Markov de primeira ordem) é a entropia para o alfabeto, onde são conhecidas as probabilidades do aparecimento de uma letra após a outra (ou seja, as probabilidades de combinações de duas letras) :

Onde eué o estado dependente do caractere precedente, e p eu (j) é a probabilidade j, providenciou que eu era o personagem anterior.

Assim, para o idioma russo sem a letra "".

Em termos de entropias condicionais privadas e gerais, as perdas de informação são completamente descritas durante a transmissão de dados em um canal ruidoso. Para isso, os chamados matrizes de canais. Assim, para descrever as perdas da fonte (ou seja, o sinal enviado é conhecido), considere a probabilidade condicional de receber um símbolo pelo receptor b j assumindo que um personagem foi enviado uma eu. Neste caso, a matriz de canais tem a seguinte forma:

	b 1	b 2	…	b j	…	b m
uma 1			…		…
uma 2			…		…
…	…	…	…	…	…	…
uma eu			…		…
…	…	…	…	…	…	…
uma m			…		…

Obviamente, as probabilidades localizadas ao longo da diagonal descrevem a probabilidade de recepção correta, e a soma de todos os elementos da coluna dará a probabilidade do aparecimento do caractere correspondente no lado do receptor - p(b j) . Perda por sinal transmitido uma eu, são descritos em termos de entropia condicional parcial:

Para calcular a perda de transmissão de todos os sinais, a entropia condicional total é usada:

Isso significa que a entropia do lado da fonte é considerada da mesma forma - a entropia do lado do receptor: em vez disso, é indicada em todos os lugares (resumindo os elementos da string, você pode obter p(uma eu) , e os elementos da diagonal significam a probabilidade de que exatamente o caractere recebido foi enviado, ou seja, a probabilidade de uma transmissão correta).

Entropia mútua

Entropia mútua, ou entropia de união, é projetado para calcular a entropia de sistemas interconectados (a entropia da aparência conjunta de mensagens estatisticamente dependentes) e é denotado H(UMAB) , Onde UMA, como sempre, caracteriza o transmissor, e B- receptor.

A relação entre os sinais transmitidos e recebidos é descrita pelas probabilidades de eventos conjuntos p(uma eu b j) , e apenas uma matriz é necessária para descrever completamente as características do canal:

p(uma 1 b 1)	p(uma 1 b 2)	…	p(uma 1 b j)	…	p(uma 1 b m)
p(uma 2 b 1)	p(uma 2 b 2)	…	p(uma 2 b j)	…	p(uma 2 b m)
…	…	…	…	…	…
p(uma eu b 1)	p(uma eu b 2)	…	p(uma eu b j)	…	p(uma eu b m)
…	…	…	…	…	…
p(uma m b 1)	p(uma m b 2)	…	p(uma m b j)	…	p(uma m b m)

Para um caso mais geral, quando não é descrito um canal, mas simplesmente sistemas interagindo, a matriz não precisa ser quadrada. Obviamente, a soma de todos os elementos da coluna com o número j darei p(b j) , a soma da linha com o número eu há p(uma eu) , e a soma de todos os elementos da matriz é 1. A probabilidade conjunta p(uma eu b j) eventos uma eu e b jé calculado como o produto da probabilidade original e condicional,

As probabilidades condicionais são produzidas pela fórmula de Bayes. Assim, todos os dados para calcular as entropias da fonte e do receptor estão disponíveis:

A entropia mútua é calculada pela soma sucessiva de linhas (ou colunas) de todas as probabilidades da matriz multiplicadas por seu logaritmo:

H(UMAB) = −	∑	∑	p(uma eu b j)registro p(uma eu b j).
	eu	j

A unidade de medida é bits/dois caracteres, isso é explicado pelo fato de que a entropia mútua descreve a incerteza para um par de caracteres - enviados e recebidos. Por transformações simples, obtemos também

A entropia mútua tem a propriedade integridade das informações- a partir dele você pode obter todas as quantidades em consideração.

História

Notas

Veja também

Links

• Claude E Shannon Uma teoria matemática de comunicação
• S. M. Korotaev.

Claude Elwood Shannon (1916-2001) -
engenheiro e matemático americano
fundador da teoria da informação,
Essa. teorias de processamento, transmissão
e armazenamento de informações

Claude Shannon foi a primeira a interpretar mensagens transmitidas e ruídos em canais de comunicação em termos estatísticos, considerando conjuntos finitos e contínuos de mensagens. Claude Shannon é chamado "pai da teoria da informação".

Uma das obras científicas mais famosas de Claude Shannon é seu artigo "Teoria Matemática da Comunicação" publicado em 1948.

Neste trabalho, Shannon, explorando o problema da transmissão racional de informações através de um canal de comunicação ruidoso, propôs uma abordagem probabilística para entender as comunicações, criou a primeira teoria verdadeiramente matemática da entropia como medida de aleatoriedade e introduziu uma medida de distribuição discreta p probabilidades no conjunto de estados alternativos do transmissor e receptor de mensagens.

Shannon estabeleceu requisitos para a medição da entropia e derivou uma fórmula que se tornou a base da teoria da informação quantitativa:

H(p).

Aqui n- o número de caracteres a partir dos quais uma mensagem pode ser composta (alfabeto), H - entropia binária de informação .

Na prática, as probabilidades pi na fórmula acima, eles são substituídos por estimativas estatísticas: pi - frequência relativa eu-th caractere na mensagem, onde N- o número de todos os caracteres na mensagem, N i- frequência absoluta euº caractere na mensagem, ou seja, número da ocorrência euº caractere na mensagem.

Na introdução de seu artigo "The Mathematical Theory of Communication", Shannon observa que neste artigo ele expande a teoria da comunicação, cujas principais disposições estão contidas em importantes obras. Nyquist e Hartley.

Harry Nyquist (1889-1976) -
engenheiro sueco americano
origem, um dos pioneiros
teoria da informação

Os primeiros resultados de Nyquist na determinação da largura de banda necessária para transmitir informações lançaram as bases para o sucesso subsequente de Claude Shannon no desenvolvimento da teoria da informação.

Hartley introduziu a medida logarítmica da informação em 1928. H = K registro 2 N, que é frequentemente chamado de quantidade de informações Hartley.

Hartley possui o seguinte teorema importante sobre a quantidade de informação necessária: se em um determinado conjunto M, consiste em N elementos, elemento está contido x, sobre o qual se sabe apenas que pertence a este conjunto M, então para encontrar x, é necessário obter a quantidade de informação sobre este conjunto igual a log 2 N pedaço.

A propósito, notamos que o nome PEDAÇO veio da abreviatura inglesa BIT - digital binário. Este termo foi proposto pela primeira vez pelo matemático americano John Tukey em 1946. Hartley e Shannon usaram o bit como unidade de medida para informação.

Em geral, a entropia de Shannon é a entropia do conjunto de probabilidades p 1 , p 2 ,…, p n.

Ralph Vinton Lyon Hartley (1888-1970)
- Cientista eletrônico americano

A rigor, se X p 1 , p 2 ,…, p n são as probabilidades de todos os seus valores possíveis, então a função H (X)define a entropia desta variável aleatória, enquanto, embora X e não é um argumento de entropia, podemos escrever H (X).

Da mesma forma, se Sé uma variável aleatória discreta finita, e q 1 , q 2 ,…, q m são as probabilidades de todos os seus valores possíveis, então para esta variável aleatória podemos escrever H (S).

John Wilder Tukey (1915-2000) -
matemático americano. Tukey eleito
bit para denotar um dígito
em sistema binário

Shannon nomeou a função H(X)entropia no conselho John von Neumann.

Neumann argumentou: esta função deve ser chamada de entropia “por dois motivos. Em primeiro lugar, sua função de incerteza foi usada em mecânica estatística com esse nome, então ela já tem um nome. Em segundo lugar, e mais importante, ninguém sabe o que a entropia realmente é, então você sempre terá a vantagem na discussão.”.

Deve-se supor que o conselho de Neumann não era uma mera piada. Muito provavelmente, tanto John von Neumann quanto Claude Shannon conheciam a interpretação informacional da entropia de Boltzmann como uma quantidade que caracteriza a incompletude da informação sobre o sistema.

Na definição de Shannon entropiaé a quantidade de informação por mensagem elementar da fonte gerando mensagens estatisticamente independentes.

7. Entropia de Kolmogorov

Andrey Nikolaevich
Kolmogorov (1903-1987) -
cientista soviético, um dos maiores
matemáticos do século 20

A. Kolmogorov resultados fundamentais foram obtidos em muitas áreas da matemática, incluindo a teoria da complexidade dos algoritmos e a teoria da informação.

Em particular, ele desempenha um papel fundamental na transformação da teoria da informação, formulada por Claude Shannon como uma disciplina técnica, em uma ciência matemática rigorosa e na construção da teoria da informação em uma base fundamentalmente diferente da de Shannon.

Em seus trabalhos sobre teoria da informação e no campo da teoria dos sistemas dinâmicos, A.N. Kolmogorov generalizou o conceito de entropia para processos aleatórios ergódicos através da distribuição de probabilidade limite. Para entender o significado dessa generalização, é necessário conhecer as definições e conceitos básicos da teoria dos processos aleatórios.

O valor da entropia de Kolmogorov (também chamada K-entropia) especifica uma estimativa da taxa de perda de informação e pode ser interpretada como uma medida da "memória" do sistema, ou uma medida da taxa de "esquecimento" das condições iniciais. Também pode ser visto como uma medida da aleatoriedade de um sistema.

8. Entropia Renyi

Alfred Renyi (1921-1970) -
matemático húngaro, criador
Instituto de Matemática em Budapeste,
agora com seu nome

Introduziu um espectro de um parâmetro de entropias de Rényi.

Por um lado, a entropia de Renyi é uma generalização da entropia de Shannon. Por outro lado, ao mesmo tempo é uma generalização da distância (diferença) Kullback-Leibler. Também notamos que é Rényi quem possui a prova completa do teorema de Hartley sobre a quantidade de informação necessária.

Distância Kullback-Leibler(divergência de informação, entropia relativa) é uma medida assimétrica da distância entre duas distribuições de probabilidade.

Normalmente, uma das distribuições comparadas é a distribuição "verdadeira", e a segunda distribuição é a distribuição estimada (verificável), que é uma aproximação da primeira.

Deixe ser X, S são variáveis ​​aleatórias discretas finitas para as quais os intervalos de valores possíveis pertencem a um determinado conjunto e as funções de probabilidade são conhecidas: P (X = um eu) = pi e P (S = um eu) = qi.

Então o valor DKL da distância Kullback-Leibler é calculado pelas fórmulas

D KL (X, S) =, D KL (S, X) = .

No caso de variáveis ​​aleatórias absolutamente contínuas X, S, dadas por suas densidades de distribuição, nas fórmulas de cálculo do valor da distância de Kullback-Leibler, as somas são substituídas pelas integrais correspondentes.

A distância Kullback-Leibler é sempre um número não negativo e é zero D KL(X, S) = 0 se e somente se a igualdade X = S.

Em 1960, Alfred Renyi oferece sua generalização da entropia.

Entropia Renyi é uma família de funcionais para a diversidade quantitativa da aleatoriedade do sistema. Rényi definiu sua entropia como um momento de ordem α da medida de uma ε-decomposição (cobertura).

Seja α um número real dado que satisfaz os requisitos α ≥ 0, α ≠ 1. Então a entropia de Rényi de ordem α é dada por H α = H α ( X), Onde pi = P (X = XI) - a probabilidade de um evento consistir no fato de que uma variável aleatória discreta X será igual ao seu valor possível correspondente, n- o número total de diferentes valores possíveis da variável aleatória X.

Para uma distribuição uniforme, quando p 1 = p 2 =…= p n =1/n, todas as entropias de Rényi são iguais H α ( X) = log n.

Caso contrário, as entropias de Rényi diminuem ligeiramente à medida que os valores do parâmetro α aumentam. As entropias de Rényi desempenham um papel importante na ecologia e nas estatísticas como índices de diversidade.

A entropia de Rényi também é importante na informação quântica e pode ser usada como medida de complexidade.

Consideremos alguns casos especiais da entropia de Renyi para valores específicos da ordem α:

1. Entropia Hartley : H 0 = H 0 (X) = log n, Onde n- poder do intervalo de valores possíveis da variável aleatória final X, ou seja o número de elementos diferentes pertencentes ao conjunto de valores possíveis;

2. Entropia de Informação de Shannon : H 1 = H 1 (X) = H 1 (p) (definido como o limite como α → 1, que é fácil de encontrar, por exemplo, usando a regra de L'Hopital);

3. Entropia correlativa ou colisão de entropia: H 2 = H 2 (X)= - ln ( X = S);

4. Min-entropia : H ∞ = H ∞ (X).

Observe que para qualquer valor não negativo da ordem (α ≥ 0), as desigualdades sempre valem H ∞ (X) ≤ H α ( X). Além do mais, H 2 (X) ≤ H 1 (X) e H ∞ (X) ≤ H 2 (X) ≤ 2 H ∞ (X).

Alfred Rényi introduziu não apenas suas entropias absolutas (1,15), ele também definiu uma série de medidas de divergência generalizando as divergências de Kullback-Leibner.

Seja α um dado número real que satisfaça os requisitos α > 0, α ≠ 1. Então, na notação usada para determinar o valor D KL Distâncias de Kullback-Leibler, o valor da divergência de Rényi de ordem α é determinado pelas fórmulas

D α ( X, S), D α ( X, S).

A divergência de Renyi também é chamada alfa-divergência ou α-divergência. O próprio Renyi usou o logaritmo para a base 2, mas, como sempre, o valor da base do logaritmo é absolutamente sem importância.

9. Entropia Tsallis

Constantino Tsallis (nascido em 1943) -
físico brasileiro
origem grega

Em 1988, ele propôs uma nova generalização da entropia, que é conveniente para uso no desenvolvimento da teoria da termodinâmica não linear.

A generalização da entropia proposta por ele pode em um futuro próximo poder desempenhar um papel significativo na física teórica e na astrofísica.

Entropia Tsallis quadrado, muitas vezes chamada de entropia não extensiva (não aditiva), é definida para n microestados de acordo com a seguinte fórmula:

Sq = Sq (X) = Sq (p) = K· , .

Aqui K- constante dimensional, se a dimensão desempenha um papel importante na compreensão do problema.

Tsallis e seus apoiadores propõem desenvolver "mecânica estatística não extensiva e termodinâmica" como uma generalização dessas disciplinas clássicas para o caso de sistemas com memória longa e/ou forças de longo alcance.

De todas as outras variedades de entropia, incl. e da entropia de Rényi, a entropia de Tsallis difere por não ser aditiva. Esta é uma diferença fundamental e importante.

Tsallis e seus apoiadores acreditam que esse recurso possibilita construir uma nova termodinâmica e uma nova teoria estatística, que são formas de descrever de forma simples e correta sistemas com memória longa e sistemas em que cada elemento interage não apenas com seus vizinhos mais próximos, mas também com todo o sistema como um todo ou grandes porções.

Um exemplo de tais sistemas e, portanto, um possível objeto de pesquisa usando a nova teoria, são os sistemas gravitacionais espaciais: aglomerados estelares, nebulosas, galáxias, aglomerados de galáxias, etc.

Desde 1988, quando Constantino Tsallis propôs sua entropia, surgiram um número significativo de aplicações da termodinâmica de sistemas anômalos (com memória de comprimento e/ou com forças de longo alcance), inclusive no campo da termodinâmica de sistemas gravitacionais.

10. Entropia quântica de Neumann

John (Janos) von Neumann (1903-1957) -
matemático e físico americano
de origem húngara

A entropia de von Neumann desempenha um papel importante na física quântica e na pesquisa astrofísica.

John von Neumann fez uma contribuição significativa para o desenvolvimento de ramos da ciência como física quântica, lógica quântica, análise funcional, teoria dos conjuntos, ciência da computação e economia.

Ele foi membro do Projeto Manhattan para o desenvolvimento de armas nucleares, um dos criadores da teoria matemática dos jogos e do conceito de autômatos celulares, e também o fundador da arquitetura moderna de computadores.

A entropia de Von Neumann, como qualquer entropia, está associada à informação: neste caso, à informação sobre um sistema quântico. E, nesse sentido, desempenha o papel de parâmetro fundamental que caracteriza quantitativamente o estado e a direção da evolução de um sistema quântico.

Atualmente, a entropia de von Neumann é amplamente utilizada em várias formas (entropia condicional, entropia relativa, etc.) no âmbito da teoria da informação quântica.

Várias medidas de emaranhamento estão diretamente relacionadas com a entropia de von Neumann. No entanto, recentemente surgiram vários trabalhos dedicados à crítica da entropia de Shannon como medida de informação e sua possível inadequação e, consequentemente, à inadequação da entropia de von Neumann como uma generalização da entropia de Shannon.

A revisão (infelizmente, superficial e às vezes insuficientemente rigorosa matematicamente) da evolução das visões científicas sobre o conceito de entropia nos permite responder a importantes questões relacionadas à verdadeira essência da entropia e as perspectivas de usar a abordagem da entropia na pesquisa científica e prática . Restringimo-nos à consideração de respostas a duas dessas perguntas.

Primeira pergunta: as numerosas variedades de entropia, consideradas e não consideradas acima, têm algo em comum além do mesmo nome?

Esta questão surge naturalmente, se tivermos em conta a variedade que caracteriza as várias ideias existentes sobre entropia.

Até o momento, a comunidade científica não desenvolveu uma resposta única e universalmente reconhecida para essa pergunta: alguns cientistas respondem a essa pergunta afirmativamente, outros negativamente, e ainda outros tratam a semelhança de entropias de vários tipos com um grau perceptível de dúvida. ...

Clausius, aparentemente, foi o primeiro cientista que estava convencido da natureza universal da entropia e acreditava que ela desempenha um papel importante em todos os processos que ocorrem no Universo, em particular, determinando sua direção de desenvolvimento no tempo.

Aliás, é Rudolf Clausius quem possui uma das formulações da segunda lei da termodinâmica: “Nenhum processo é possível cujo único resultado seria a transferência de calor de um corpo mais frio para um mais quente”.

Esta formulação da segunda lei da termodinâmica é chamada postulado de Clausius , e o processo irreversível referido neste postulado é Processo Clausius .

Desde a descoberta da segunda lei da termodinâmica, os processos irreversíveis têm desempenhado um papel único na imagem física do mundo. Assim, o famoso artigo de 1849 William Thompson, em que se dá uma das primeiras formulações da segunda lei da termodinâmica, chamava-se "Sobre a tendência universal da natureza de dissipar a energia mecânica".

Observe também que Clausius também foi forçado a usar a linguagem cosmológica: "A entropia do universo tende a um máximo".

Ilya Romanovich Prigozhin (1917-2003) -
físico belga-americano e
químico de origem russa,
Prêmio Nobel
em Química 1977

Chegou a conclusões semelhantes Ilya Prigogine. Prigogine acredita que o princípio da entropia é responsável pela irreversibilidade do tempo no Universo e, talvez, tenha um papel importante na compreensão do significado do tempo como fenômeno físico.

Até o momento, muitos estudos e generalizações de entropia foram realizados, inclusive do ponto de vista de uma teoria matemática rigorosa. No entanto, a notável atividade dos matemáticos nesta área ainda não é demandada em aplicações, com a possível exceção de trabalhos Kolmogorov, Renyi e Tsalis.

Sem dúvida, a entropia é sempre uma medida (grau) de caos, desordem. É a diversidade da manifestação do fenômeno do caos e da desordem que determina a inevitabilidade da diversidade das modificações de entropia.

Segunda questão: É possível reconhecer o escopo da abordagem da entropia como extensa, ou todas as aplicações da entropia e da segunda lei da termodinâmica são limitadas à própria termodinâmica e áreas relacionadas da ciência física?

A história do estudo científico da entropia mostra que a entropia é um fenômeno científico descoberto na termodinâmica, e depois migrado com sucesso para outras ciências e, sobretudo, para a teoria da informação.

Sem dúvida, a entropia desempenha um papel importante em quase todas as áreas da ciência natural moderna: na física térmica, na física estatística, na cinética física e química, na biofísica, astrofísica, cosmologia e teoria da informação.

Falando em matemática aplicada, não se pode deixar de mencionar as aplicações do princípio da entropia máxima.

Como já observado, aplicações importantes da entropia são objetos quânticos e relativísticos. Na física quântica e na astrofísica, tais aplicações da entropia são de grande interesse.

Mencionemos apenas um resultado original da termodinâmica dos buracos negros: A entropia de um buraco negro é igual a um quarto de sua área de superfície (a área do horizonte de eventos).

Na cosmologia, acredita-se que a entropia do Universo é igual ao número de quanta de radiação cósmica de fundo por nucleon.

Assim, o escopo da abordagem da entropia é muito extenso e inclui uma grande variedade de ramos do conhecimento, desde a termodinâmica, outras áreas da física, ciência da computação e terminando, por exemplo, com história e economia.

AV Seagal, Doutor em Ciências Econômicas, Universidade da Crimeia em homenagem a V.I. Vernadsky

1.4 Entropia da fonte. Propriedades de quantidade de informação e entropia

A quantidade de informação contida em uma mensagem elementar XI , não caracteriza totalmente a fonte. A fonte de mensagens discretas pode ser caracterizada a quantidade média de informação por mensagem elementar , que é chamada de entropia da fonte

, eu =1…k , (1.3)

Onde k – tamanho do alfabeto da mensagem.

Assim, a entropia é uma medida média da incerteza do conhecimento do receptor em relação ao estado do objeto observado.

Na expressão (1.3), média estatística (ou seja, a definição da expectativa matemática de uma variável aleatória discreta EU (XI )) é executado em todo o conjunto de mensagens de origem. Nesse caso, é necessário levar em consideração todas as relações probabilísticas entre as mensagens. Quanto maior a entropia da fonte, maior a quantidade de informação em média incluída em cada mensagem, mais difícil é lembrar (gravar) ou transmitir tal mensagem por um canal de comunicação. Assim, a essência da entropia de Shannon é a seguinte: a entropia de uma variável aleatória discreta é o mínimo do número médio de bits que precisam ser transmitidos por um canal de comunicação sobre o valor atual dessa variável aleatória.

A energia necessária para transmitir uma mensagem é proporcional à entropia (a quantidade média de informação por mensagem). Segue-se que a quantidade de informação em uma seqüência de N mensagens é determinado pelo número dessas mensagens e pela entropia da fonte, ou seja,

EU (N)=NH(X) .

A entropia como uma medida quantitativa do conteúdo de informação de uma fonte tem o seguinte propriedades:

1) entropia é zero se pelo menos uma das mensagens é confiável (ou seja, tem uma probabilidade pi = 1);

2) o valor da entropia é sempre maior ou igual a zero, real e limitado;

3) a entropia de uma fonte com dois eventos alternativos pode variar de 0 a 1;

4) a entropia é uma quantidade aditiva: a entropia de uma fonte cujas mensagens consistem em mensagens de várias fontes estatisticamente independentes é igual à soma das entropias dessas fontes;

5) a entropia será máxima se todas as mensagens forem igualmente prováveis

. (1.4)

Com mensagens desiguais x eu entropia diminui. A este respeito, tal medida de origem é introduzida como a redundância estatística do alfabeto de origem

, (1.5)

Onde H (X ) é a entropia da fonte real; H (X ) máximo= registro 2 k é a entropia máxima alcançável da fonte.

A redundância da fonte de informação determinada pela fórmula (1.5) indica a reserva de informação das mensagens, cujos elementos não são igualmente prováveis.

Há também o conceito redundância semântica , o que decorre do fato de que qualquer pensamento contido em uma mensagem de sentenças da linguagem humana pode ser formulado de forma mais curta. Acredita-se que se uma mensagem pode ser encurtada sem perder seu conteúdo semântico, então ela possui redundância semântica.

Considere variáveis ​​aleatórias discretas (d.r.v.) X e S dado pelas leis de distribuição P (X = XI )= pi , P (S = Yj )= qj e distribuição conjunta P (X = XI , S = Yj )= p ij . Então a quantidade de informações contidas no d. dentro. X em relação a d.s. dentro. S , é determinado pela fórmula

. (1.6)

Para variáveis ​​aleatórias contínuas (r.v.) X e S dado pelas densidades de distribuição de probabilidade r X (t 1 ) , r S (t 2 ) e r XY (t 1 , t 2 ) , uma fórmula semelhante tem a forma

É óbvio que

conseqüentemente

Essa. chegamos à expressão (1.3) para calcular a entropia H (X ) .

Propriedades da quantidade de informação e entropia:

1) EU (X , S ) ≥ 0 ; EU (X , S ) =0 Û X e S independente (uma variável aleatória não descreve a outra);

2) EU (x, S ) =EU(Y, X ) ;

3) HX =0 Û X=const ;

4) EU (X, Y) =HX+HY-H (X, Y) , Onde ;

5) EU (X, Y) ≤ I(X, X); I(X, Y) = I(X, X) Þ X=f(Y) .

PERGUNTAS DE TESTE

1 Que tipos de informação existem?

2 Como traduzir informações contínuas em uma forma discreta (digital)?

3 Qual é a taxa de amostragem de informações contínuas?

4 Como é formulado o teorema da discretização?

5 O que é informação, codificação, canal de comunicação, ruído?

6 Quais são as principais disposições da abordagem probabilística de Shannon para determinar a quantidade de informação?

7 Como é determinada a quantidade de informação contida em uma mensagem de fonte discreta?

8 Como é determinada a quantidade de informação por mensagem da fonte de mensagens interdependentes?

9 Qual é a entropia da fonte? Quais são suas propriedades?

10 Em que condições a entropia da fonte é máxima?

11 Como é determinada a quantidade de informação? Quais são as propriedades da quantidade de informação?

12 O que causa a redundância estatística da fonte de informação?

o que significa o termo "entropia" em termos de teoria da informação? e obtive a melhor resposta

Resposta de MarZ[guru]
A entropia informacional, conforme definida por Shannon e acrescentada por outros físicos, está intimamente relacionada com o conceito de entropia termodinâmica. Este é um valor que denota uma quantidade irredutível (incompressível) de informação, o conteúdo em um determinado sistema (geralmente, em um sinal recebido).
Na teoria da informação
A entropia na mecânica estatística está intimamente relacionada à entropia informacional - uma medida da incerteza das mensagens, que são descritas por um conjunto de símbolos x_1,ldots,x_n e probabilidades p_1,ldots,p_n da ocorrência desses símbolos na mensagem. Na teoria da informação, a entropia de uma mensagem com uma distribuição de probabilidade discreta é a quantidade
Sn = − ∑PkInPk,
k
Onde
∑Pk = 1.
k
A entropia da informação é igual a zero quando qualquer probabilidade é igual a um (e o resto - a zero), ou seja, quando a informação é completamente previsível e não traz nada de novo para o receptor. A entropia assume o maior valor para uma distribuição equiprovável quando todas as probabilidades pk são as mesmas; ou seja, quando a incerteza resolvida pela mensagem está no seu máximo. A entropia informacional também possui todas as propriedades matemáticas que a entropia termodinâmica possui. Por exemplo, é aditiva: a entropia de várias mensagens é igual à soma das entropias de mensagens individuais.
Fonte: http://www.wikiznanie.ru/ru-wz/index.php/РРСтропия

Resposta de Alexandre Zonov[guru]
Assim como na termodinâmica, a entropia é uma medida da desordem de um sistema.

Resposta de . [ativo]
Entropia (informação) - uma medida da aleatoriedade da informação, a incerteza da aparência de qualquer caractere do alfabeto primário. Na ausência de perda de informação, é numericamente igual à quantidade de informação por símbolo da mensagem transmitida.

Resposta de 3 respostas[guru]

Ei! Aqui está uma seleção de tópicos com respostas para sua pergunta: o que significa o termo "entropia" do ponto de vista da teoria da informação?

conceito entropia introduzido pela primeira vez em 1865 por R. Clausius em termodinâmica para determinar a medida de dissipação de energia irreversível. A entropia é usada em vários ramos da ciência, incluindo a teoria da informação, como medida da incerteza de qualquer experiência, teste, que pode ter resultados diferentes. Essas definições de entropia têm uma conexão interna profunda. Assim, com base em ideias sobre informação, todas as provisões mais importantes da física estatística podem ser deduzidas. [BES. Física. M: Grande Enciclopédia Russa, 1998].

Entropia Binária de Informação para Eventos Aleatórios Independentes (Não Equiprováveis) x com n estados possíveis (de 1 a n, p- função de probabilidade) é calculado a partir Fórmula de Shannon:

Esse valor também é chamado entropia média mensagens. A entropia na fórmula de Shannon é uma característica média - a expectativa matemática da distribuição de uma variável aleatória.
Por exemplo, em uma sequência de letras que compõem uma frase em russo, letras diferentes aparecem em frequências diferentes, de modo que a incerteza de ocorrência para algumas letras é menor do que para outras.
Em 1948, enquanto investigava o problema da transmissão racional de informações através de um canal de comunicação barulhento, Claude Shannon propôs uma abordagem probabilística revolucionária para entender as comunicações e criou a primeira teoria verdadeiramente matemática da entropia. Suas ideias sensacionais rapidamente serviram de base para o desenvolvimento da teoria da informação, que utiliza o conceito de probabilidade. O conceito de entropia como medida de aleatoriedade foi introduzido por Shannon em seu artigo "A Mathematical Theory of Communication", publicado em duas partes no Bell System Technical Journal em 1948.

No caso de eventos igualmente prováveis ​​(um caso especial), quando todas as opções são igualmente prováveis, a dependência permanece apenas no número de opções consideradas, e a fórmula de Shannon é bastante simplificada e coincide com a fórmula de Hartley, que foi proposta pela primeira vez por um engenheiro americano Ralph Hartley em 1928, como uma das abordagens científicas para avaliar mensagens:

, onde I é a quantidade de informação transmitida, p é a probabilidade de um evento, N é o número possível de mensagens diferentes (equiprováveis).

Tarefa 1. Eventos igualmente prováveis.
Há 36 cartas em um baralho. Quanta informação está contida na mensagem de que uma carta com um retrato de “ás” foi retirada do baralho; "ás de Espadas"?

Probabilidade p1 = 4/36 = 1/9 e p2 = 1/36. Usando a fórmula de Hartley temos:

Resposta: 3,17; 5,17 bits
Observe (do segundo resultado) que 6 bits são necessários para codificar todos os mapas.
Também fica claro pelos resultados que quanto menor a probabilidade de um evento, mais informações ele contém. (Esta propriedade é chamada monotonia)

Tarefa 2. Em eventos desiguais
Há 36 cartas em um baralho. Destes, 12 cartões com "retratos". Por sua vez, uma das cartas é retirada do baralho e mostrada para determinar se um retrato está representado nela. A carta é devolvida ao baralho. Determine a quantidade de informação transmitida cada vez que um cartão é mostrado.