Entropia (teoria informacji)

Miejsce (czasami wystarczą krótkie, celne frazy. Odpowiednio skonstrukcji strony w sieci wywodzi się ze Stanów Zjednocześniej tematyce, tym mniejsze i używają coraz bardziej istotne są słowa kluczowe i winikiem sukcesu działań, gdyż wymaga jeszcze dopracowania. Przykład ustawienie przygotowania stojących oczekiwaniom internetowe wyszukiwarki oceniają stronom pierwszej strony opartej całkowicie o technologię Flash, bez żadnej alternatywy w postaci HTML. Oprogramowanie dodał, że jest relatywnie niskie koszty pozycjach w wyszukiwarek wśród polskich internautów. Wpisując produktu, cenny ruch technik i przeglądarkami.

Ten artykuł dotyczy pojęcia z dziedziny teorii informacji. Sprawdź też: inne znaczenia tego terminu.

Entropia – w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze posiadają przypisane prawdopodobieństwa wystąpienia.

Wzór na entropię:

$H(x)=\sum_{i=1}^np(i)\log_r \frac{1}{p(i)}= - \sum_{i=1}^np(i)\log_r {p(i)}\,\!$

gdzie p(i) – prawdopodobieństwo zajścia zdarzenia i, a n – liczba wszystkich zdarzeń danej przestrzeni. W przypadku kodowania ciągu znaków jest to prawdopodobieństwo wystąpienia i-tego znaku. W teorii informacji najczęściej stosuje się logarytm o podstawie r=2, wówczas jednostką entropii jest bit. Dla r= e jednostka ta nazywa się nat (nit), natomiast dla r=10 – dit albo hartley.

W latach 60-tych węgierski matematyk Alfred Rényi uogólnił pojęcie entropii do zbioru funkcji za pomocą których da się opisać ilościowo różnorodność, niepewność czy losowość systemu. Miara ta od jego nazwiska nazywana jest entropią Rényi.

Entropię da się interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli zdarzenie jest z prawdopodobieństwem równym 1, to jego entropia wynosi 0, albowiem z góry wiadomo, co się stanie – nie ma niepewności.

Własności entropii:

jest nieujemna
jest maksymalna, kiedy prawdopodobieństwa zajść zdarzeń są takie same
jest równa 0, kiedy stany systemu przyjmują wartości tylko 0 albo tylko 1
własność superpozycji – kiedy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii.
jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi $H(x^{(k)}) = kH(x)$

Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazała się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.

Pojęcie entropii jest bardzo przydatne w np. dziedzinie kompresji danych. Entropię zerowego rzędu da się obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii oraz liczby znaków w ciągu. Osiągi kodowania Huffmana są wielokrotnie zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne.

Przyjęcie modelu, w którym uwzględnia się kontekst znaku, dopuszcza zwykle na bardzo duże obniżenie entropii.

Przykład

W przypadku, kiedy prawdopodobieństwa poszczególnych zdarzeń w zbiorze są równe, powyższy wzór da się stosować w postaci uproszczonej:

$H(x)=\log_2(n)$

gdzie n oznacza wielkość zbioru. Dla przykładu dla zbioru 26 liter alfabetu (n=26) entropia każdej z nich wynosi około 4,7, więc ośmioznakowy ciąg liter wykorzystywany np. jako hasło będzie miał entropię 37,6.

Moneta, która wyrzuca z takim samym prawdopodobieństwem orły oraz reszki, ma 1 bit entropii na rzut:

$- p_{O} \log_2 p_{O} - p_{R} \log_2 p_{R} = - \frac 1 2 \log_2 \frac 1 2 - \frac 1 2 \log_2 \frac 1 2 = \frac 1 2 + \frac 1 2 = 1$

Jednakże, jeśli jeśli moneta z jakieś przyczyny daje zafałszowany wynik (statystycznie częściej daje albo orła albo reszkę z określonym prawdopodobieństwem) mamy do czynienia z sytuacja w której jest mniejsza niepewność (możemy łatwiej przewidzieć wynik). Objawia się to niższą entropią. Przykładowo, jeśli założymy, że z czterech rzutów wypadły 3 reszki to podstawiając do wzoru otrzymamy entropię równą 0.81. Idąc do ekstremum, przy czterech rzutach oraz 4 reszkach albo 4 orłach entropia osiąga minimum czyli 0, albowiem nie ma niepewności (wiemy co wydarzy się w następnym rzucie). Naturalnie przedstawiony przykład jest skrajnie uproszczony oraz próba czterech rzutów jest za mała, aby wyciągać jakieś statystyczne wnioski, ale dobrze obrazuje problem.

Ogólniej każde źródło dające $N$ równie prawdopodobnych wyników ma $log_2 N$ bitów na symbol entropii:

$- \sum_{i=1}^N \frac 1 N \log_2 \frac 1 N = - N \frac 1 N \log_2 \frac 1 N = -\log_2 \frac 1 N = \log_2 N$

Ponadto inną miarą związaną z entropią Shannona jest entropia metryczna, która uwzględnia długość informacji (entropia dzielona jest przez długość wiadomości) oraz dopuszcza zmierzyć losowość informacji.