Ентропия на Шанън

В рамките на теорията на информацията, централен обект на изследване е функцията ентропия на Шанън или липса на информация, която ще обозначаваме с $S$.

Нека обозначим вероятностите за различните събития от дадено вероятностно пространство с $P_i$. Ентропията на Шанън, която понякога се нарича и „липса на информация“, в статистическата механика е еквивалентна на ентропията. Функцията е дефинирана по следния начин:

$S=-C\sum _i^N{P}_i\ln P_i=C⟨\ln P_i⟩$, където C е константа, чийто смисъл ще стане ясен по-късно, а N е броят на възможните резултати (в статистическата механика – броят на възможните микросъстояния)

Нека например разгледаме ситуацията залагане на зарове. Притежателят на зара е измамник, който е обработил зара така, че да пада на определено число. Познаването на това число намалява стойността на функцията липса на информация, която понякога, за по-кратко се нарича и ентропия.

Минимум и максимум на ентропията (липсата на информация)

Ако зарът винаги пада на една страна, да кажем 4, то тогава вероятността $P_4$ е равна на 1, а всички други вероятности са 0. В този случай, функцията липса на информация става равна на:

$S=-C\sum _i^N{P}_i\ln P_i=-C(P_1\ln P_1+P_2\ln P_2+P_3\ln P_3+P_4\ln P_4+P_5\ln P_5+P_6\ln P_6)$

$S=-C(0\ln P_1+0\ln P_2+0\ln P_3+1\ln 1+0\ln P_5+0\ln P_6)$

и тъй като всички членове на това уравнение са равни на нула (заб. $\underset{x\to 0}{lim}x\ln x=0$), имаме:

$S=0$.

Тоест, липсата на информация е нулева, когато със сигурност знаем изхода от даден опит, което, както виждаме, може да се изрази математически с така дефинираната функция липса на информация. Обратно, функцията липса на информация има максимум, когато отделните вероятности са равни. За да докажем това твърдение ще използваме метода с множителите на Лагранж:

От условието за нормировка следва: $\sum _i{P}_i=1$ (сборът на всички вероятности е единица). Следователно, прибавянето на тази сума към ентропията и изваждането на единица не променя нищо:

$S=S+\lambda (\sum _i^N{P}_i-1)$

Търсим точките, в частната производна по $P_i$ се анулира:

$\frac{\partial S}{\partial P_i}=-C(\ln P_i-1)+\lambda P_i=0$

или

$P_i=e^{\frac{-C+\lambda }{\lambda }}$

тоест, виждаме, че стойността на кое да е $P_i$ зависи само от константи, т.е. самото то е константа, която може да обозначим, например, с $\mu$. Следователно, от условието за нормировка следва:

$\sum _i^N{P}_i=\sum _i^N\mu =\mu N=1$

или

$\mu =P_i=\frac{1}{N}\mathrm{\forall }i$

Видяхме, че когато липсата на информация е в максимум, вероятностите за различните изходи са равни помежду си. В рамките на статистическата механика това се интерпретира по следния начин: когато системата е в равновесие, ентропията е в максимум. След повторно изкарване от равновесие, съгласно втория принцип на термодинамиката, ентропията ще нарасне, докато отново не достигне максимум.

Връзка с ентропията

Както видяхме, когато ентропията (липса на информация) е максимална, всички $P_i$-та са равни на $\frac{1}{N}$. Тогава:

$S=-C\sum _i^N\frac{1}{N}\ln \frac{1}{N}$

$S=C\frac{1}{N}\ln N\sum _i^N=C\ln N$

Ако заместим C с k_B получаваме формулата на Болцман за ентропията, която показва връзката между ентропията и липсата на информация и оправдава наименованието „ентропия на Шанън“ за функцията „липса на информация“.

Смисъл на константата C

Този път измамникът играе не на зарове, а на ези-тура. Ако нямаме информация за системата, вероятността монетата на падне на ези е равна на вероятността монетата да падне на тура, $P_{heads}=P_{tails}=\frac{1}{2}$. Ако знаем на коя страна ще падне монетата, липсата на информация е нулева. В теорията на информацията, Константата С е дефинирана така, че разликата в информацията за тези два случая да е 1, т.е.:

$1=-C(\frac{1}{2}\ln \frac{1}{2}+\frac{1}{2}\ln \frac{1}{2})=C\times 2\ln 2$

$C=\frac{1}{2\ln 2}$

Виждаме, че C играе ролята на „бит информация“, т.е. в теорията на информацията един бит е $\frac{1}{2\ln 2}$. Както видяхме, в статистическата механика, ролята на С се играе от $k_B$, така че един „бит ентропия“ в статистическата механика е константата на Болцман, $k_B$

Концепцията е представена за пръв път от Клод Шанън през 1948 г. в неговата статия „Математическа теория на комуникациите“.

Източници

• Mouhanna, D; Sator, N., Cours et TDs de Mécanique statistique, Université Pierre et Marie Curie, 2008

Външни препратки

• Шаблон:Икона Математическа теория на комуникациите Шаблон:Webarchive – оригиналната публикация на Шанън от 1948 г. Посетена на 31 юли 2008.