Zagadnienia

14.1 Entropia rozbicia
14.2 Entropia przekształcenia
14.3 Jak liczyć entropię metryczna

14. O entropii metrycznej

14.1. Entropia rozbicia

Niech X,F,μ będzie przestrzenią z miarą probabilistyczną.

Definicja 14.1

Rozbicie mierzalne ξ=A1,…,Ak- wszystkie Ai są mierzalne, parami rozłączne i ⋃Ai=X.

Definicja 14.2

Niech ξ,η będą rozbiciami. Określamy rozbicie (drobniejsze od obu)

ξ∨η

Jest to rozbicie składające się ze wszystkich zbiorów postaci:

Ai∩Bj,Ai∈ξ,Bj∈η.

Definicja 14.3 (Entropia rozbicia)

Niech ξ będzie rozbiciem mierzalnym, skończonym lub przeliczalnym.

H⁢ξ=∑a∈ξ-μ⁢A⁢log⁡μ⁢A

Ćwiczenie 14.1

Sprawdzić że, jeśli rozbicie ξ ma n elementów, to H⁢ξ≤log⁡n i równość zachodzi dla rozbicna na n zbiorów o mierze 1n każdy.

Definicja 14.4 (Entropia warunkowa)

Niech ξ,η będą rozbiciami mierzalnymi, co najwyzej przeliczalnymi. Entropia ξ pod warunkiem η to

H(ξ|η)=-∑jμ(Bj)(∑iμ⁢Ai∩Bjμ⁢Bjlogμ⁢Ai∩Bjμ⁢Bj)

Twierdzenie 14.1

Niech ξ,η,ζ będą rozbiciami Wówczas:

H(ξ∨η|ζ)=H(ξ|ζ)+H(η|ξ∨ζ)
H(ξ∨η=H(ξ)+H(η|ξ)
ξ≤η⇒H(ξ|ζ)≤H(η|ζ)
η≤ζ⇒H(ξ|η)≥H(ξ|ζ)
H(ξ∨η|ζ)≤H(ξ|ζ)+H(η|ζ)
H(ξ|ζ)≤H(ξ|η)+H(η|ζ)

Dowód jest rachunkowy, zostawiony jako ćwiczenie

∎

14.2. Entropia przekształcenia

Niech T:X→X będzie przekształceniem zachowującym miarę μ.

Stwierdzenie 14.1 (Stwierdzenie i definicja entropii przekształcenia na rozbiciu)

Niech ξ będzie rozbiciem co najwyżej przeliczalnym. Oznaczamy

ξ0n=ξ∨T-1⁢ξ∨…∨T(n-1)⁢ξ.

Wowczas istnieje granica

limn→∞⁡1n⁢H⁢ξ0n

nazywamy ją entropią T względem rozbicia ξ i oznaczamy h⁢T,ξ

Wystarczy zauważyć że ciąg H⁢ξ0n jest podaddytywny. Mamy

H(ξ0n+m)+H(ξ∨T-1ξ∨…∨T(n+m-1)ξ)=H((ξ∨T-1ξ∨…∨T(n-1)ξ)∨(T-n(ξ∨…∨t-mξ))

Z włąsności 5 w poprzednim twierdzeniu i z niezmienniczości miary, możemy prawą stronę oszacować z góry przez

H⁢ξ0n+H⁢ξ0m

∎

Definicja 14.5 (Entropia przekształcenia)

Niech T będzie przekształceniem zachowujacym miarę. Entropia hμ⁢T to

hμ⁢T=supξ⁡h⁢T,ξ

gdzie supremum jest wziete po wszystkich skończonych mierzalnych rozbiciach X.

Następujące ważne twierdzenie podajemy bez dowodu:

Twierdzenie 14.2 (Twierdzenie Shannona- Breimana- Mcmillana)

X,F,μ- przestrzeń z miarą probabilistyczną, T- ergodyczne przekształcenie zachowujące miarę μ, ξ- mierzalne rozbicie (skończone, albo przeliczalne, o skończonej entropii). Oznaczmy

I(ξ0n-1)(x)=-logμ(An(x)

(gdzie An⁢x jest elementem rozbicia ξ0n-1 do którego należy punkt x). Wówczas:

1n⁢I⁢ξ0n-1⁢x→H⁢t,ξ

prawie wszedzie i w L1⁢μ.

Bezpośrednio z definicji entropii wynika:

Twierdzenie 14.3

Entropia metryczna jest niezmiennikiem izomorfizmu miarowego przekształceń: jeśli T zachowuje miarę μ na przestrzeni X, zaś S zachowuje miarę ν na przestrzeni Y,i istnieje mierzalna bijekcja h:X→Y przekształcająca miarę μ na miarę ν taka że S∘h=h∘T, to hμ⁢T=hν⁢S.

14.3. Jak liczyć entropię metryczna

Widać że wyznaczenie entropii wymaga - według definicji- policzenia supremum po wszystkich skończonych rozbiciach. W wielu przypadkach można jednak wyliczyć entropię powołując się na twierdzenie poniżej:

Definicja 14.6

Niech T będzie automorfizmem przestrzeni z miarą X,F,μ. Rozbicie ξ nazywamy dwustronnym generatorem, jeśli najmniejsze σ-ciało zawierajace wszystkie zbiory należące do rozbić ⋁-NNTn⁢ξ jest równe F.

Twierdzenie 14.4

Niech T będzie automorfizmem przestrzeni z miarą X,F,μ. Założmy że ξ jest dwustronnym generatorem. Wówczas

hμ⁢T=hμ⁢T,ξ.

Przykład 14.1

Niech T będzie obrotem na okręgu. Policzmymy entropię względem miary Lebesgue'a.

Jeśli kąt obrotu jest współmierny z π, to Tk=Id dla pewnego k, a to oznacza że dla każdego skończonego rozbicia ξ liczebność rozbicia ξ∨T-1⁢ξ∨…∨T-n⁢ξ jest ograniczona przez stała niezależna od n. Zatem H⁢⋁i=1nT-i⁢ξ jest ograniczone, a stąd h⁢t=0.

Jeśli kąt obrotu nie jest współmierny z π to rozbicie ξ na dwa półokręgi jest dwustronnym generatorem (dlaczego); zatem- entropię można policzyć na tym rozbiciu.

Rozbicie ⋁0n-1T-i⁢ξ ma co najwyżej 2⁢n elementów (dlaczego?) Stąd wynika że 1n⁢H⁢⋁0n-1T-i⁢ξ→0.

Wykazaliśmy więc że entropia obrotu na okręgu, względem mairy Lebesgue'a, jest równa zero.

Przykład 14.2 (Przesunięcie Bernoulliego)

Niech Y-0,2,…,k-1. Niech X=∏-∞∞Y. Elementami X są więc nieskończone ciągi dwustronne, o wyrazach należących do zbioru Y. W Y wprowadzamy miarę, która każdemu elementowi i przyporządkowyje wagę pi; w X wprowadzamy miarę produktową, an σ-ciele generowanym przez wszystkie zbiory cylindryczne, postaci x-n=a-n,…,x0=a0,…⁢xn=an. Przekształceniem T jest przesunięcie ciągu w lewo o jedno miejsce. Oczywiście rozbicie ξ na cylindry pierwszej generacji:

x0=a0

jest dwustronnym generatorem i można policzyć entropię na tym rozbiciu:

h⁢μ⁢T=lim⁡1n⁢H⁢ξ∨T-1⁢ξ∨…∨T-n-1⁢ξ=-lim⁡1n⁢∑i0,i1,…⁢in-1pi0⁢pi1⁢…⁢pin-1⁢log⁡pi0⁢pi1⁢…⁢pin-1=-lim⁡1n⁢∑i0,…⁢in-1=0k-1pi0⁢pi1⁢…⁢pin-1⁢log⁡pi0+log⁡pi1+…+log⁡pin-1=-lim⁡1n⁢n⁢p0⁢log⁡p0⁢∑i1,…⁢in-1pi1⁢…⁢pin-1+p1⁢log⁡p1⁢∑i0,i2⁢…⁢in-1pi0⁢pi2⁢…⁢pin-1+…

(14.1)

POnieważ każda z sum w nawiasach jest równa 1 (dlaczego?), otrzymujemy

hμ⁢T=-∑pi⁢log⁡pi.

Zatem- na przykład: przesunięcie Bernoulliego z wagami 12,12 i z wagami 13⁢13⁢13 nie są izomorficzne, bo mają różne entropie.

Przesunięcia z wagami 14,14,14,14 i 12,18,18,18,18 mają tę samą entropię, równą 2⁢log⁡2. W latach sześćdziesiątych Mieszałkin wykazał ze te dwa ostatnie układy są izomorficze (chociaż mają rózne liczby stanów). Późniejsze, słynne twierdzenie Ornsteina mówi, że dwa przesunięcia Bernoulliego są izomorficzne wtedy i tylko wtedy gdy mają równe entropie metryczne.

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Wstęp do teorii Układów Dynamicznych