« 7. Modele nieliniowe  Spis treści  9. Teoria dużej próbki »  

Zagadnienia

8. Metody asymptotyczne

Zbieżność ciągów zmiennych losowych. Metoda delty. Asymptotyczna normalność estymatorów. Stacjonarność i ergodyczność. Ciągi przyrostów martyngałowych. Centralne Twierdzenie Graniczne dla przyrostów martyngałowych. (1 wykład)

8.1. Zbieżność zmiennych losowych

Omówimy pokrótce trzy pojęcia zbieżności zmiennych losowych.
Niech Ω,M,P – przestrzeń probabilistyczna. Rozważmy ciąg zmiennych losowych Znn=0∞ o wartościach w RK.

Definicja 8.1

Ciąg zmiennych losowych Zn zbiega prawie napewno do zmiennej losowej Z gdy

Plimn→∞⁡Zn=Z=1.

W zapisie skróconym będziemy pisali

Zn⟶a⁢sZ⁢⁢⁢⁢ lub ⁢⁢⁢⁢Zn⟶p⁢nZ.
Definicja 8.2

Ciąg zmiennych losowych Zn zbiega według prawdopodobieństwa do zmiennej losowej Z gdy

∀ε>0⁢⁢⁢limn→∞⁡PZn-Z>ε=0,

gdzie ∥⋅∥ oznacza normę w RK.

W zapisie skróconym będziemy pisali

plimn→∞Zn=Z⁢⁢⁢⁢ lub ⁢⁢⁢⁢Zn⟶pZ.
Definicja 8.3

Ciąg zmiennych losowych Zn zbiega według rozkładu do zmiennej losowej Z gdy ciąg dystrybuant FZn zbiega do dystrybuanty FZ w każdym punkcie ciągłości FZ.

W zapisie skróconym będziemy pisali

Zn⟶dZ⁢⁢⁢⁢ lub ⁢⁢⁢⁢Zn⟶dR,

gdzie R jest rozkładem zmiennej losowej Z.

Uwaga 8.1

Jeśli ciąg różnic Zn-Yn zbiega do 0 według prawdopodobieństwa i ciąg Zn zbiega według rozkładu do zmiennej losowej Z, to również Yn zbiega według rozkładu do Z

Zn⟶dZ,⁢⁢⁢Zn-Yn⟶p0⁢⁢⁢⟹⁢⁢⁢Yn⟶dZ.
Uwaga 8.2

Trzy powyższe zbieżności są od siebie zależne. Mamy

Zn⟶a⁢sZ⁢⁢⟹⁢⁢Zn⟶pZ⁢⁢⟹⁢⁢Zn⟶dZ.

Aby zamknąć powyższy diagram należy dopuścić zmianę przestrzeni probabilistycznej i skorzystać z następującego twierdzenia o reprezentacji prawie napewno.

Twierdzenie 8.1

(Skorochod)
Jeśli ciąg zmiennych losowych Zn zbiega według rozkładu do zmiennej losowej Z to istnieje przestrzeń probabilistyczna Ω′,M′,P′ i określone na niej zmienne losowe Y i Yn, n=0,1,… takie, że Y ma ten sam rozkład co Z, a Yn co Zn i ciąg zmiennych losowych Yn zbiega prawie napewno do zmiennej losowej Y.

Sformułujemy teraz kilka przydatnych w ekonometrii twierdzeń o zbieżności zmiennych losowych.

Twierdzenie 8.2

O odwzorowaniu ciągłym.[2, 16]
Niech Df oznacza zbiór punktów nieciągłości funkcji

f:Rk→Rm.

Wówczas jeśli ciąg zmiennych losowych Zn zbiega według rozkładu, prawdopodobieństwa lub prawie napewno do zmiennej losowej Z takiej, że

PZ∈Df=0,

to ciąg zmiennych losowych f⁢Zn zbiega odpowiednio według rozkładu, prawdopodobieństwa lub prawie napewno do zmiennej losowej f⁢Z.

Twierdzenie 8.3

(Slutsky)
Niech Xn i Yn ciagi zmiennych losowych o wartościach macierzowych, X macierzowa zmienna losowa i C macierz (deterministyczna). Wówczas, jeśli

Xn⟶dX,⁢⁢⁢ a ⁢⁢⁢Yn⟶dC,

to:

a.Xn+Yn⟶dX+C,
b.Yn⁢Xn⟶dC⁢X,
c.∃C-1⁢⁢⁢⟹⁢⁢⁢Yn-1⁢Xn⟶dC-1⁢X,

gdzie Yn-1 to dowolna macierz losowa taka, że

Yn⁢ω⁢Yn-1⁢ω=I⁢d

gdy det⁡Yn⁢ω≠0.

Dowód.
Ponieważ Yn zbiega do stałej, to

Xn,Yn⟶dX,C.

Działania +,⋅ są ciągłe zatem z twierdzenia o odwzorowaniu ciągłym (8.2) otrzymujemy tezę twierdzenia.
W przypadku odwracania macierzy zbiorem punktów nieciągłości jest zbiór macierzy o wyznaczniku 0. Zatem wystarczy zauważyć, że prawdopodobieństwo, że odwracalna macierz deterministyczna ma zerowy wyznacznik jest równe 0.

□
Uwaga 8.3

Niech Xni X to wektory kolumnowe, czyli macierze K×1, a Yn i C macierze K×K. Wówczas, jeśli

Xn⟶dN⁢0,Σ,⁢⁢⁢Yn⟶dC,

to

Yn⁢Xn⟶dN⁢0,C⁢Σ⁢CT.
Twierdzenie 8.4

Metoda delty.
Niech Xn ciąg zmiennych losowych o wartościach w Rm, X zmienna losowa o wartościach w Rm, C punkt z Rm, a f:Rm→RK funkcja różniczkowalna w C. Wówczas, jeśli

Xn⟶dC,⁢⁢⁢ i ⁢⁢⁢⁢n⁢Xn-C⟶dX

to

n⁢f⁢Xn-f⁢C⟶dD⁢f⁢C⁢X.

Dowód.
Korzystając z twierdzenia 8.1 o reprezentacji prawie napewno, możemy zastąpić ciąg Xn ciągiem Xn′⁢ takim, że

Xn′∼dXn,⁢⁢⁢Xn′⟶a⁢sC,⁢⁢⁢ i ⁢⁢⁢⁢n⁢Xn′-C⟶dX.

Wówczas

n⁢f⁢Xn-f⁢C∼dn⁢f⁢Xn′-f⁢C=
=n(f(Xn′)-f(C)-Df(C)(Xn′-C))+nDf(C)(Xn′-C)=
=f⁢Xn′-f⁢C-D⁢f⁢C⁢Xn′-CXn′-C⁢n⁢Xn′-C+D⁢F⁢C⁢n⁢Xn′-C.

Z różniczkowalności f otrzymujemy

f⁢Xn′-f⁢C-D⁢f⁢C⁢Xn′-CXn′-C⟶a⁢s0.

Ponieważ

n⁢Xn′-C⟶dX⁢⁢⁢⁢i ⁢⁢⁢⁢D⁢F⁢C⁢n⁢Xn′-C⟶dD⁢f⁢C⁢X,

to z twierdzenia Slutsky'ego (8.3) otrzymujemy

n⁢f⁢Xn-f⁢C⟶d0⁢X+D⁢f⁢C⁢X.
□
Uwaga 8.4

Jeśli przy założeniach twierdzenia 8.4 X ma rozkład normalny N⁢0,Σ to

n(f(Xn)-f(C))⟶dN(0,Df(C)ΣDf(C)T).

8.2. Estymatory jako ciągi zmiennych losowych

Załóżmy, że proces generujący dane Zt, t=0,1,…, pochodzi z parametrycznej rodziny procesów S⁢P⁢θ, gdzie zbiór parametrów Θ jest podzbiorem Rm

θ∈Θ⊂Rm.

Ustalmy funkcję ν:Θ⟶Rk i rodzinę estymatorów

ν^=ν^nn=1∞,

wartości funkcji ν w punkcie θZ. Niech ν^n będzie estymatorem ν⁢θZ, wyznaczonym na podstawie próbki rozmiaru n, tzn.

ν^n=ν^n⁢Z0,…,Zn-1.
Definicja 8.4

Ciąg estymatorów ν^ nazywamy nazywamy zgodnym gdy

plimn→∞ν^n=ν⁢θZ.
Definicja 8.5

Zgodny ciąg estymatorów ν^ nazywamy nazywamy asymptotycznie normalnym gdy

n⁢ν^n-ν⁢θZ⟶dN⁢0,Σ.
Uwaga 8.5

Macierz Σ oznaczamy A⁢v⁢a⁢r⁢ν^ i nazywamy asymptotyczną wariancją estymatora ν^n.

8.3. Stacjonarność i ergodyczność procesów stochastycznych

8.3.1. Definicje i podstawowe własności

Niech Z=Ztt=0∞ będzie K-wymiarowym procesem stochastycznym (ciągiem zmiennych losowych) określonym na przestrzeni probabilistycznej Ω,M,P.

Definicja 8.6

Proces stochastyczny Z jest (silnie) stacjonarny gdy dla dowolnych p,q,r∈N łączne rozkłady

Zp,Zp+1,…,Zp+q⁢⁢⁢⁢ i ⁢⁢⁢⁢Zr,…,Zr+q

są identyczne.

Wniosek 8.1

Jeśli proces stochastyczny Z jest stacjonarny i Zt należą do L2, to dla wszystkich p,q,r∈N

E⁢Zp=E⁢Zr,⁢⁢⁢C⁢o⁢v⁢Zp,Zp+q=C⁢o⁢v⁢Zr,Zr+q.
Definicja 8.7

Stacjonarny proces stochastyczny Z ma własność mieszania gdy dla dowolnych ograniczonych funkcji borelowskich f i g oraz indeksów p,l,m∈N

limn→∞⁡E⁢f⁢Zp,…,Zp+m⁢g⁢Zn,…,Zn+l=E⁢f⁢Zp,…,Zp+m⁢E⁢g⁢Zp,…,Zp+l.
Definicja 8.8

Stacjonarny proces stochastyczny Z jest ergodyczny gdy

∀A∈B⁢RK⁢⁢⁢⁢P∀t⁢⁢⁢Zt∈A∈0,1.
Twierdzenie 8.5

Twierdzenie ergodyczne.
Jeśli proces stochastyczny Z jest stacjonarny i Zt należą do L1, to zachodzdzą implikacje

a⟹b⟹c,

gdzie
a. Z ma własność mieszania,
b. Z jest ergodyczny,
c. średnie zbiegają do wartości oczekiwanej

Zn¯=1n⁢∑t=0n-1Zt⟶a⁢sE⁢Z0.
Uwaga 8.6

Jeśli proces stochastyczny Z jest stacjonarny i ma własność mieszania a f jest funkcją borelowską to proces Z′=f⁢Zt,…,Zt+qt=0∞ też jest stacjonarny i ma własność mieszania.
Zatem jeśli Zt należą do L2 to

1n⁢∑t=0n-1Zt2⟶a⁢sE⁢Z02,
1n⁢∑t=0n-1Zt⁢Zt+p⟶a⁢sE⁢Z0⁢Zp.
Wniosek 8.2

Dla procesów stacjonarnych i ergodycznych średnie próbkowe są zgodnymi estymatorami.

8.3.2. Przykłady

Definicja 8.9

Proces ε nazywamy gaussowskim białym szumem gdy

ε=εtt=0∞,⁢⁢⁢εt∼N⁢0,σ,⁢⁢σ>0,⁢⁢⁢εt⁢ niezależne.
Lemat 8.1

Biały szum jest stacjonarny i ergodyczny.

Dowód.
Dla dowolnych indeksów p i q wektor εp,…,εp+q ma rozkład N⁢0,I⁢dq+1. Rozkład ten nie zależy od p co implikuje stacjonarność.

Aby pokazać własność mieszania zauważmy, że dla n>p+m zmienne losowe f⁢εp,…,εp+m i g⁢εn,…,εn+l są niezależne. Zatem dla n odpowiednio dużych

E⁢f⁢εp,…,εp+m⁢g⁢εn,…,εn+l=E⁢f⁢εp,…,εp+m⁢E⁢g⁢εn,…,εn+l=
=E⁢f⁢εp,…,εp+m⁢E⁢g⁢εp,…,εp+l.
□
Uwaga 8.7

Powyższe rozumowanie można zastosować dla dowolnego procesu iid tzn. o wyrazach niezależnych i o jednakowym rozkładzie.

Proces autoregresyjny

Niech ε będzie gaussowskim białym szumem. Dodatkowo założymy, ze εt∼N⁢0,1. Proces Z=Zt zdefiniujemy rekurencyjnie:

Zt=c+ρ⁢Zt-1+σ⁢εt,⁢⁢⁢t=1,2,…,
Z0=c1-ρ+σ1-ρ2⁢ε0,

gdzie c,ρ,σ rzeczywiste parametry, ρ<1, σ>0. Tak zdefiniowany proces nazywa się autoregresyjnym rzędu 1 (A⁢R⁢1).

Lemat 8.2

Proces Z jest stacjonarny i ergodyczny.

Dowód.

Krok 1. Pokażemy, że wszystkie Zt mają rozkład normalny o parametrach c1-ρ i σ21-ρ2

Zt∼N⁢c1-ρ,σ21-ρ2.

Zastosujemy indukcję po t.
Jak łatwo zauważyć Z0 ma rozkład normalny oraz

E⁢Z0=c1-ρ,⁢⁢⁢D2⁢Z0=σ21-ρ2.

Załóżmy, że

Zs∼N⁢c1-ρ,σ21-ρ2,⁢⁢⁢s<t.

Ponieważ εt i Zt-1 mają rozkłady normalne i są niezależne to Zt ma rozkład normalny. Ponadto

E⁢Zt=c+ρ⁢E⁢Zt-1+σ⁢E⁢ε=c+ρ⁢c1-ρ+0=c1-ρ.
D2⁢Zt=ρ2⁢D2⁢Zt-1+σ2⁢D2⁢εt=ρ2⁢σ21-ρ2+σ2=σ21-ρ2.

Krok 2. Pokażemy, że C⁢o⁢v⁢Zt+k,Zt=ρk⁢σ21-ρ2.
Zastosujemy indukcję po k.
Dla k=0 mamy

C⁢o⁢v⁢Zt,Zt=D2⁢Zt=σ21-ρ2.

Załóżmy, że

C⁢o⁢v⁢Zt+k-1,Zt=ρk-1⁢σ21-ρ2.

Wówczas

C⁢o⁢v⁢Zt+k,Zt=C⁢o⁢v⁢c+ρ⁢Zt+k-1+σ⁢εt,Zt=ρ⁢C⁢o⁢v⁢Zt+k-1,Zt=ρ⋅ρk-1⁢σ21-ρ2=ρk⁢σ21-ρ2.

Krok 3. Stacjonarność.
Z poprzednich dwóch ”kroków” wynika, że rozkład wektora Zt,…,Zt+p nie zależy od t. Rzeczywiście

Zt,…,Zt+p∼N⁢c1-ρ⁢e,σ21-ρ2⁢Rp,

gdzie e jest wektorem o p+1 współrzędnych, które są wszystkie równe 1, e=1,…,1, a Rp jest macierzą p+1×p+1 o wyrazach Rpi,j=ρi-j, czyli

Rp=1ρρ2…ρpρ1ρ…ρp-1……………ρp-1,ρp-2ρp-3…ρρp,ρp-1ρp-2…1.

Krok 4. Ergodyczność.
Dla n>p+m wektor Zp,…,Zp+m,Zn,…,Zn+l ma m+l+2-wymiarowy rozkład normalny

Zp,…,Zp+m,Zn,…,Zn+l∼N⁢c1-ρ⁢e,σ21-ρ2⁢Cn,

gdzie macierz C otrzymujemy z macierzy Rn+l+1-p przez wycięcie kolumn i wierszy od m+2-giego do n-1-ego.

Cn=Rmρn-p-m⁢Aρn-p-m⁢ATRl,

gdzie m+1×l+1 macierz A nie zależy od n, Ai,j=ρm+j-i

A=ρmρm+1ρm+2…ρm+lρm-1ρmρm+1…ρm+l-1……………ρ1,ρ2ρ3…ρl+11,ρ1ρ2…ρl.

Zatem

limn→∞⁡Cn-1=C∞-1=Rm-100Rl-1.

W oparciu o powyższą granicę pokażemy własność mieszania.

E⁢f⁢Zp,…,Zp+m⁢g⁢Zn,…,Zn+l=
=12⁢πm+l+2⁢det⁡Cn-1⁢1-ρ2σm+l+2⁢∫f⁢x′⁢g⁢x′′⁢e⁢x⁢p⁢-12⁢x-μ⁢eT⁢Cn-1⁢x-μ⁢e
⟶12⁢πm+l+2det(C∞)-1(1-ρ2σ)m+l+2∫f(x′)g(x′′)exp(-12(x-μe)TC∞-1(x-μe))dx=
=12⁢πm+l+2⁢det⁡Rm-1⁢det⁡Rl-1⁢1-ρ2σm+l+2⁢∫f⁢x′⁢e⁢x⁢p⁢-12⁢x′-μ⁢e′T⁢Rm-1⁢x′-μ⁢e′⁢d⁢x′
∫g⁢x′′⁢e⁢x⁢p⁢-12⁢x′′-μ⁢e′′T⁢Rl-1⁢x′′-μ⁢e′′⁢d⁢x′′=
=E⁢f⁢Zp,…,Zp+m⁢E⁢g⁢Zp,…,Zp+l.
□

8.4. Martyngały i przyrosty martyngałowe

Definicja 8.10

K-wymiarowy proces stochastyczny Z=Ztt=0∞ nazywamy martyngałem gdy

1.Zt∈L1⁢⁢⁢⁢ dla ⁢⁢⁢⁢t=0,1,…,
2.E(Zt|Zt-1,…,Z0)=Zt-1 dla t=1,2,….
Definicja 8.11

K-wymiarowy proces stochastyczny g=gtt=0∞ nazywamy ciągiem przyrostów martyngałowych gdy

1.E⁢gt=0,⁢⁢⁢ dla ⁢⁢⁢⁢t=0,1,…,
2.E(gt|gt-1,…,g0)=0 dla t=1,2,….
Uwaga 8.8

Jeśli proces Z=Ztt=0∞ jest martyngałem, to proces g=gtt=0∞, gdzie

g0=Z0-E⁢Z0,⁢⁢⁢gt=Zt-Zt-1,⁢⁢⁢t>0,

jest ciągiem przyrostów martyngałowych.

Uwaga 8.9

Jeśli proces g=gtt=0∞ jest ciągiem przyrostów martyngałowych a μ dowolną stałą, to proces Z=Ztt=0∞, gdzie

Z0=μ+g0,⁢⁢⁢Zt=Zt-1+gt,⁢⁢⁢t>0,

jest martyngałem.

Lemat 8.3

Jeśli proces g=gtt=0∞ jest ciągiem przyrostów martyngałowych i gt należą do L2 to są one nieskorelowane

C⁢o⁢v⁢gt,gs=0,⁢⁢⁢ dla ⁢⁢⁢⁢t≠s.

Dowód.
Zapiszemy wektory gt i gt+j, j>0, jako wektory kolumnowe. E⁢gt=E⁢gt+j=0 zatem

Cov(gt,gt+j)=E(gtgt+jT)=E(E(gtgt+jT|gt+j-1,…,g0))=
=E(gtE(gt+jT|gt+j-1,…,g0))=E(gt⋅0)=0.
□

Przykład
Biały szum ε=εt jest ciągiem przyrostów martyngałowych, a błądzenie przypadkowe czyli proces X=Xtt=0∞

X0=μ+ε0,⁢⁢⁢Xt=Xt-1+εt,⁢⁢⁢t>0,

jest martyngałem.

Twierdzenie 8.6

Centralne Twierdzenie Graniczne ([2] Twierdzenie 23.1).
Jeśli stacjonarny i ergodyczny proces g=gtt=0∞ jest ciągiem przyrostów martyngałowych i gt należą do L2, to

n⁢gn¯=nn⁢∑t=0n-1gt⟶dN⁢0,Σ,

gdzie Σ=E⁢g0⁢g0T.

Uwaga 8.10

Powyższe twierdzenie jest uogólnieniem CTG Linderberga-Levy'ego, w którym pominięta została niezależnośc składników.

« 7. Modele nieliniowe  Spis treści  9. Teoria dużej próbki »  

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

strona główna | webmaster | o portalu | pomoc

© Wydział Matematyki, Informatyki i Mechaniki UW, 2009-2010. Niniejsze materiały są udostępnione bezpłatnie na licencji Creative Commons Uznanie autorstwa-Użycie niekomercyjne-Bez utworów zależnych 3.0 Polska.

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego.

Projekt współfinansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego i przez Uniwersytet Warszawski.