Zagadnienia

3.1 Zadania

3. Centralne Twierdzenie Graniczne

Centralne twierdzenie graniczne dotyczy zachowania się rozkładu sum niezależnych zmiennych losowych, przy odpowiedniej normalizacji i pewnych dodatkowych założeniach. Intuicyjnie, suma dużej liczby ,,małych”, niezależnych zmiennych losowych ma rozkład normalny. Główny wynik niniejszego rozdziału jest następujący.

Twierdzenie 3.1 (Lindeberg)

Załóżmy, że dla każdego n, zmienne X1⁢n, X2⁢n, …, Xrn⁢n są niezależnymi zmiennymi losowymi o średniej 0, takimi, że

∑k=1rnE⁢Xk⁢n2n→∞→1.

Dodatkowo, załóżmy, że jest spełniony warunek Lindeberga

∑k=1rnE⁢Xk⁢n2⁢1{|Xk⁢n|>ε}n→∞→0⁢⁢dla każdego ⁢ε>0.

(L)

Wówczas X1⁢n+X2⁢n+…+Xrn⁢n⇒N⁢0,1.

Powstaje tu naturalne pytanie, co tak naprawdę mówi warunek Lindeberga. Intuicyjnie rzecz biorąc, oznacza on, iż przy n zbiegającym do nieskończoności, zmienne X1⁢n, X2⁢n, …, Xrn⁢n są ,,równie małe”. Innymi słowy, w n-tym wierszu nie ma zmiennych losowych, które byłyby dominujące w stosunku do pozostałych. Ściślej, mamy następujące dwie własności.

Wnioski z warunku Lindeberga

1. Mamy maxk≤rn⁡Xk⁢nP→0. Istotnie, dla każdego ε>0,

P(maxk≤rn|Xk⁢n|>ε)=P(⋃k=1rn{|Xk⁢n|>ε})≤∑k=1rnP(|Xk⁢n|>ε)≤ε-2∑k=1rnEXk⁢n21{|Xk⁢n|>ε}n→∞→0.

2. Mamy maxk≤rn⁡E⁢Xk⁢n2→0. Rzeczywiście, dla dowolnego ε>0,

E⁢Xk⁢n2=E⁢Xk⁢n2⁢1{|Xk⁢n|>ε}+E⁢Xk⁢n2⁢1{|Xk⁢n|≤ε}≤∑l=1rnE⁢Xl⁢n2⁢1{|Xl⁢n|>ε}+ε2≤2⁢ε2,

o ile n jest dostatecznie duże.

Sformułujmy teraz nieco inną wersję CTG.

Twierdzenie 3.2

Załóżmy, że X1,⁢X2,⁢…, są niezależnymi zmiennymi losowymi całkowalnymi z kwadratem, mn:=E⁢Xn, σn2=VarXn, bn2=∑k=1nσn2. Jeśli jest spełniony warunek Lindeberga

bn-2⁢∑k=1nE⁢Xk-mk2⁢1{|Xk-mk|>εbn}n→∞→0,

(L)

X1+X2+…+Xn-m1-m2-…-mnbn⇒N⁢0,1.

Wynika to bezpośrednio z twierdzenia Lindeberga, przy rn=n, Xk⁢n=Xk-mk/bn.

∎

Powstaje naturalne pytanie: kiedy warunek Lindeberga jest spełniony? Podamy tu kilka własności wymuszających ten warunek.

Stwierdzenie 3.1

Załóżmy, że X1, X2, … są niezależne i mają ten sam rozkład o dodatniej wariancji. Oznaczmy m=E⁢X1, σ2=VarX1. Wówczas warunek Lindeberga jest spełniony i

X1+X2+…+Xn-n⁢mn⁢σ⇒N⁢0,1.

Dowód:

Wystarczy sprawdzić warunek Lindeberga. Mamy

1n⁢σ2⁢∑k=1nE⁢Xn-m2⁢1{|Xn-m|>εσn}=1σ2⁢E⁢X1-m2⁢1{|X1-m|>εσn}→0,

na mocy twierdzenia Lebesgue'a.

∎

Sprawdzenie dwóch poniższych warunków pozostawiamy jako ćwiczenie.

Stwierdzenie 3.2

Załóżmy, że X1,⁢X2,⁢… są wspólnie ograniczonymi niezależnymi zmiennymi losowymi spełniającymi warunek ∑k=1nVarXk→∞. Wówczas spełniony jest warunek Lindeberga.

Stwierdzenie 3.3 (Lapunow)

Załóżmy, że dla każdego n, X1⁢n, X2⁢n, …, Xrn⁢n są niezależnymi, scentrowanymi zmiennymi losowymi spełniającymi warunki

∑k=1rnE⁢Xk⁢n2n→∞→1

oraz

∑k=1rnE⁢Xk⁢n2+δn→∞→0⁢⁢dla pewnego ⁢δ>0.

Wówczas jest spełniony warunek Lindeberga.

Przechodzimy do dowodu twierdzenia Lindeberga.

Lemat 3.1

Załóżmy, że a1,⁢a2,⁢…,⁢an, b1,⁢b2,⁢…,⁢bn są liczbami zespolonymi, z których każda ma moduł niewiększy niż 1. Wówczas

a1⁢a2⁢…⁢an-b1⁢b2⁢…⁢bn≤∑k=1nak-bk.

Dowód:

Stosujemy indukcję. Dla n=1 nierówność jest oczywista. Dalej, załóżmy, że jest ona prawdziwa dla pewnego n spróbujmy ją udowodnić dla n+1. Oznaczając a=a1⁢a2⁢…⁢an, b=b1⁢b2⁢…⁢bn, mamy

⁢a1⁢a2⁢…⁢an+1-b1⁢b2⁢…⁢bn+1⁢=a⁢an+1-b⁢bn+1⁢⁢≤a⁢an+1-a⁢bn+1+a⁢bn+1-b⁢bn+1⁢⁢=a⁢an+1-bn+1+bn+1⁢a-b⁢⁢≤∑k=1n+1ak-bk,

co kończy dowód.

∎

Lemat 3.2

Dla dowolnego y∈R oraz k=0, 1, 2,⁢… mamy

ei⁢y-1+i⁢y+i⁢y22!+…+i⁢ykk!≤yk+1k+1!.

Dowód:

Stosujemy indukcję. Dla k=0 mamy

ei⁢y-1=i⁢∫0yei⁢x⁢d⁢x≤y.

Dalej, załóżmy, że nierówność zachodzi dla pewnego k. Wówczas

⁢⁢ei⁢y-1+i⁢y+i⁢y22!+…+i⁢yk+1k+1!⁢⁢=i⁢∫0yei⁢x-1+i⁢x+i⁢x22!+…+i⁢xkk!⁢d⁢x⁢⁢≤∫0yei⁢x-1+i⁢x+i⁢x22!+…+i⁢xkk!⁢d⁢x⁢⁢≤∫0yxk+1k+1!⁢d⁢x=yk+2k+2!.

Dowód jest zakończony.

∎

Dowód twierdzenia Lindeberga:

Oznaczmy σk⁢n=E⁢Xk⁢n21/2, k=1, 2,⁢…,⁢rn, n=1, 2,⁢…. Na mocy twierdzenia Levy-Cramera wystarczy udowodnić, że dla każdego t∈R, φX1⁢n+X2⁢n+…+Xrn⁢n⁢t→e-t2/2. Ustalmy więc t∈R. Mamy

⁢An:=⁢φX1⁢n+X2⁢n+…+Xrn⁢n⁢t-e-t2/2=∏k=1rnφXk⁢n⁢t-∏k=1rne-σk⁢n2⁢t2/2⁢⁢+e-t2⁢∑k=1rnσk⁢n2/2-e-t2/2︸Dn.

Stosujemy teraz pierwszy z powyższych lematów oraz fakt, iż e-x=1-x+r⁢x, gdzie r⁢x/xx→0→0. W konsekwencji,

An≤∑k=1rnφXk⁢n-1+σk⁢n2⁢t22︸Bn+∑k=1rnr⁢t2⁢σk⁢n2/2︸Cn+Dn.

Wystarczy wykazać, że Bn,⁢Cn,⁢Dn dążą do 0. Zbieżność ciągu Dn do 0 jest oczywista na mocy warunku ∑k=1rnσk⁢n2→1. Zajmijmy się teraz ciągiem Cn. Ustalmy ε>0. Istnieje δ>0 taka,że jeśli x<δ, to r⁢x/x<ε. Jak już wiemy, warunek Lindeberga pociąga za sobą, iż dla dostatecznie dużych n, maxk≤rn⁡t2⁢σk⁢n2/2<δ, a co za tym idzie,

Cn=∑k=1rnr⁢t2⁢σk⁢n2/2t2⁢σk⁢n2/2⁢t2⁢σk⁢n2/2<t2⁢ε2⁢∑k=1rnσk⁢n2→t2⁢ε2,

a więc ciąg Cn zbiega do 0. Wreszcie, dla ustalonego ε>0, korzystając z drugiego z powyższych lematów (z k=2 oraz z k=3),

⁢⁢φXk⁢n-1+σk⁢n2⁢t22=E⁢ei⁢t⁢Xk⁢n-1-i⁢t⁢Xk⁢n+t2⁢Xk⁢n2/2⁢⁢≤E⁢ei⁢t⁢Xk⁢n-1-i⁢t⁢Xk⁢n+t2⁢Xk⁢n2/2⁢1{|Xk⁢n|≤ε}⁢⁢⁢+E⁢ei⁢t⁢Xk⁢n-1-i⁢t⁢Xk⁢n+t2⁢Xk⁢n2/2⁢1{|Xk⁢n|>ε}⁢⁢≤E⁢Xk⁢n⁢t36⁢1{|Xk⁢n|≤ε}+E⁢ei⁢t⁢Xk⁢n-1-i⁢t⁢Xk⁢n⁢1{|Xk⁢n|>ε}+E⁢t2⁢Xk⁢n22⁢1{|Xk⁢n|>ε}⁢⁢≤t3⁢ε6⁢σk⁢n2+2⁢E⁢t2⁢Xk⁢n22⁢1{|Xk⁢n|>ε}.

Zatem

Bn≤t36⁢ε⁢∑k=1rnσk⁢n2+t2⁢∑k=1rnE⁢Xk⁢n2⁢1{|Xk⁢n|>ε}≤2⁢t36⁢ε+ε

dla dostatecznie dużych n. Stąd teza.

∎

Jako wniosek, otrzymujemy

Twierdzenie 3.3 (de Moivre'a-Laplace'a)

Załóżmy, że ξn ma rozkład Bernoulliego z parametrami n, p. Wówczas

ξn-n⁢pn⁢p⁢1-p⇒N⁢0,1.

Dowód:

Niech X1,⁢X2,⁢… będą niezależnymi zmiennymi losowymi o tym samym rozkładzie dwupunktowym PXn=0=1-p, PXn=1=p. Mamy

ξn-n⁢pn⁢p⁢1-p∼X1+X2+…+Xn-n⁢pn⁢p⁢1-p

i wystarczy skorzystać z odpowiedniej wersji CTG.

∎

Sformułujmy teraz uogólnienie twierdzenia Lindeberga. Dowodzi się je w sposób analogiczny.

Twierdzenie 3.4

Załóżmy, że dla każdego n zmienne X1⁢n, X2⁢n, …, Xrn⁢n są niezależne i całkowalne z kwadratem. Oznaczmy mk⁢n:=E⁢Xk⁢n i przypuśćmy, że

∑k=1rnE⁢Xk⁢nn→∞→m,⁢∑k=1rnVar⁢Xk⁢nn→∞→σ2

oraz

∑k=1rnE⁢Xk⁢n-mk⁢n2⁢1{|Xk⁢n-mk⁢n|>ε}→0.

(L)

Wówczas X1⁢n+X2⁢n+…+Xrn⁢n⇒N⁢m,σ2.

Centralne twierdzenie graniczne pozwala badać zachowanie dystrybuant sum niezależnych zmiennych losowych. Istotnie, zbieżność

X1+X2+…+Xn-m1+m2+…+mnbn⇒N⁢0,1

jest równoważna zbieżności punktowej dystrybuant:

⁢PX1+X2+…+Xn-m1+m2+…+mnbn⁢≤x→Φ⁢x⁢⁢=12⁢π⁢∫-∞xe-y2/2⁢d⁢y.

Co więcej, zbieżność jest jednostajna względem x∈R (por. zadanie 9 z rozdziału o słabej zbieżności). Zatem dla każdego ε>0 istnieje numer n0 taki, że dla n≥n0,

supx∈R|P(X1+X2+…+Xn≤xbn+(m1+m2+…+mn))-Φ(x)|<ε,

czyli

supy∈R|P(X1+X2+…+Xn≤y)-Φ(y-m1-m2-…-mnbn)|<ε.

Powstaje naturalne pytanie w jaki sposób wyznaczać n0 w zależności od ε; innymi słowy, w jaki sposób szacować błąd związany z przybliżeniem dysrtybuanty sumy przez dystrybuantę standardowego rozkładu normalnego.

Twierdzenie 3.5 (Nierówność Berry-Essena)

Załóżmy, że X1, X2, …, są niezależnymi scentrowanymi zmiennymi losowymi o tym samym rozkładzie i niech σ2=VarXn>0, ρ:=E⁢Xn3<∞. Wówczas

supx∈R|P(X1+X2+…+Xnn⁢σ≤x)-Φ(x)|≤c⁢ρσ3⁢n,

gdzie jako c można wziąć 0,7655 (optymalna - czyli najmniejsza możliwa - wartość c nie jest znana).

W szczególności, przy założeniach twierdzenia de Moivre'a-Laplace'a,

supx∈R|P(ξn-n⁢pn⁢p⁢1-p≤x)-Φ(x)|≤cp2+1-p2n⁢p⁢1-p.

Jest to niezwykle użyteczny rezultat z punktu widzenia konkretnych zastosowań: w sposób jawny określa on tempo zbieżności.

3.1. Zadania

1. Sumujemy 10 000 liczb, każdą zaokrągloną z dokładnością do 10-m. Przypuśćmy, że błędy spowodowane przez zaokrąglenia są niezależnymi zmiennymi losowymi o rozkładzie jednostajnym na przedziale -10m/2,10m/2. Znaleźć przedział (możliwie krótki), do którego z prawdopodobieństwem ≥0,95 będzie należał błąd całkowity (tzn. po zsumowaniu).

2. Obliczyć

limn→∞⁡e-n⁢∑k=0nnkk!.

3. Udowodnić Stwierdzenie 10 oraz Stwierdzenie 11.

4. Dany jest ciąg Xn niezależnych zmiennych losowych, przy czym dla n≥1,

PXn=-1=PXn=1=12⁢1-1n2,⁢⁢PXn=-n=PXn=n=12⁢n2.

Udowodnić, że

X1+X2+…+Xnn⇒N⁢0,1,

mimo iż limn→∞VarXn=2.

5. Zmienne losowe X1,X2,… są niezależne, przy czym dla n≥1, PXn=n=PXn=-n=1/2. Niech sn2=∑k=1nVar⁢Xk. Czy ciąg zmiennych losowych

X1+X2+…+Xnsn

jest zbieżny wedlug rozkładu, a jeśli tak, to do jakiej granicy?

6. Załóżmy, że X jest zmienną losową spełniającą warunki

(i) E⁢X2<∞,

(ii) Jeśli Y, Z są niezależne i mają ten sam rozkład co X, to X∼Y+Z/2.

Wykazać, że X ma rozkład Gaussa o średniej 0.

7. Rzucono 900 razy kostką. Sumujemy oddzielnie parzyste liczby oczek i nieparzyste liczby oczek. Jakie jest przybliżone prawdopodobieństwo tego, że suma parzystych liczb oczek będzie o co najmniej 500 większa od sumy nieparzystych liczb oczek?

8. Liczba studentów przyjętych na pierwszy rok jest zmienną losową o rozkładzie Poissona z parametrem 100. Jeśli ta liczba przekroczy 120, tworzy się 2 grupy wykładowe. Obliczyć przybliżone prawdopodobieństwo (korzystając z CTG), że nie trzeba będzie tworzyć dwóch grup.

9. Dane są dwa ciągi Xn, Yn niezależnych zmiennych losowych, przy czym zmienne Xn mają ten sam rozkład wykładniczy z parametrem 1, a Yn mają rozkład Poissona z parametrem 1. Zbadać zbieżność według rozkładu ciągu

X1+X2+…+Xn2-Y1+Y2+…+Yn2n⁢n.

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Wykład z Rachunku Prawdopodobieństwa II

Zagadnienia

3. Centralne Twierdzenie Graniczne

Twierdzenie 3.1 (Lindeberg)

Twierdzenie 3.2

Stwierdzenie 3.1

Dowód:

Stwierdzenie 3.2

Stwierdzenie 3.3 (Lapunow)

Lemat 3.1

Dowód:

Lemat 3.2

Dowód:

Dowód twierdzenia Lindeberga:

Twierdzenie 3.3 (de Moivre'a-Laplace'a)

Dowód:

Twierdzenie 3.4

Twierdzenie 3.5 (Nierówność Berry-Essena)

3.1. Zadania