W teorii dużej próbki przez model rozumie się K+1 wymiarowy proces stochastyczny

Yt,Xtt=0∞

spełniający pewne założenia.

Z̃1. Liniowość.

∃β∈RK⁢⁢⁢⁢∃εtt=0∞⁢⁢⁢⁢Yt=Xt⁢β+εt,⁢⁢⁢t=0,1,…,

Z̃2. Stacjonarność i ergodyczność.
K+1 wymiarowy proces stochastyczny Yt,Xtt=0∞ jest stacjonarny i ergodyczny.

Uwaga.
Z warunków Z̃1 i Z̃2 wynika, że również proces εtt=0∞ jest stacjonarny i ergodyczny.

Z̃3. Warunek maksymalnego rzędu.
Proces Xt jest klasy L2 i K×K macierz

Σx⁢x=E⁢XtT⁢Xt

jest odwracalna.

Uwaga.
Ze stacjonarności procesu Xt wynika, że macierz Σx⁢x nie zależy od t.

Z̃4. Ortogonalność zmiennych objaśniających do składnika losowego.

E⁢εt⁢Xt=0,⁢⁢⁢t=0,1,….

Oznaczenie.

gt=εt⁢Xt.

Uwaga.
Z warunków Z̃1 i Z̃2 wynika, że również proces gtt=0∞ jest stacjonarny i ergodyczny.

Z̃5. Martyngałowość.
Proces gtt=0∞ jest ciągiem przyrostów martyngałowych, gt jest klasy L2 i K×K macierz

Σg⁢g=E⁢gtT⁢gt

jest odwracalna.

Uwaga.
1. Ze stacjonarności procesu gt wynika, że macierz Σg⁢g nie zależy od t.
2. Z centralnego twierdzenia granicznego (8.6) wynika , że Σg⁢g jest równa asymptotycznej wariancji procesu średnich g¯t

Σg⁢g=A⁢v⁢a⁢r⁢g¯t,⁢⁢⁢g¯t=1t⁢∑s=0t-1gs.

Z̃6. Warunkowa homoskedastyczność.

E(εt2|Xt)=σ2>0,t=0,1,….

Dowód.
gt=εt⁢Xt, zatem

Σg⁢g=E(gTtgt)=E(ε2XtTXt)=E(E(εt2XtTXt|Xt))=

=E(E(ε2t|Xt)XtTXt)=E(σ2XtTXt)=σ2E(XtTXt)=σ2Σx⁢x.

□

Niech Yt,Xtt=0∞ będzie procesem generującym dane. W modelu dużej próbki, podobnie jak w modelu klasycznym, będziemy estymowali parametry modelu β i σ2 w oparciu o metodę najmniejszym kwadratów. Niech n oznacza ilość obserwacji (n≫K), X macierz wymiaru n×K, której wierszami są wektory losowe Xt a Y wektor kolumnowy wymiaru n o wyrazach Yt. Estymatory MNK możemy zapisać na dwa sposoby jako iloczyn macierzy X i Y lub za pomocą średnich z iloczynów Xt i Yt.

Gdy macierz X ma rząd maksymalny czyli K, to estymator MNK wektora β wynosi

B=XT⁢X-1⁢XT⁢Y=Sx⁢x-1⁢Sx⁢y,

gdzie

Sx⁢x=1n⁢XT⁢X=1n⁢∑t=0n-1XtT⁢Xt,

Sx⁢y=1n⁢XT⁢Y=1n⁢∑t=0n-1Yt⁢XtT.

W wyjątkowych przypadkach gdy rząd macierzy X jest mniejszy niż K to jako B bierzemy dowolny wektor minimalizujący sumę kwadratów reszt – patrz uwaga 2.1.

Natomiast estymator MNK parametru σ2 wynosi

S2=ξT⁢ξn-K=1n-K⁢∑t=0n-1ξt2,

gdzie

ξt=Yt-Xt⁢B.

Omówimy teraz podstawowe własności powyższych estymatorów w zależności od wielkości próbki n.

Dowód.
Mamy dwa równania opisujące zależność Yt od Xt:

	Yt	=	Xt⁢β+εt,
	Yt	=	Xt⁢B+ξt.

Po odjęciu stronami otrzymujemy:

Xt⁢B-β=εt-ξt.

(9.1)

Mnożymy obie strony przez XtT

XtT⁢Xt⁢B-β=εt⁢XtT-ξt⁢XtT.

Następnie liczymy średnią po t. Biorąc pod uwagę, że ∑t=0n-1ξt⁢XtT=XT⁢ξ=0 (patrz wniosek 2.1) otrzymujemy:

Sx⁢x⁢B-β=1n⁢∑t=0n-1XtT⁢Xt⁢B-β=1n⁢∑t=0n-1εt⁢XtT=g¯nT.

Ponieważ proces XtT⁢Xt jest stacjonarny i ergodyczny to

Sx⁢x=1n⁢∑t=0n-1XtT⁢Xt⟶a⁢sE⁢XtT⁢Xt=Σx⁢x.

Macierz Σx⁢x jest odwracalna (warunek Z̃3), zatem dla dużych n również macierz Sx⁢x⁢ω jest odwracalna. W wyjątkowych przypadkach gdy det⁡Sx⁢x⁢ω=0 dookreślamy Sx⁢x-1⁢ω w dowolny sposób.

Po przemnożeniu obu stron przez macierz Sx⁢x-1 otrzymujemy równość analogiczną do 4.2

B-β=Sx⁢x-1⁢g¯n+γn,

(9.2)

gdzie γn⁢ω=0 dla n odpowiednio dużych.

Ad. a.
Ponieważ proces gt jest stacjonarny i ergodyczny to z warunku Z̃4 otrzymujemy

limn→∞⁡g¯n=E⁢g0=0⁢⁢⁢⁢p.n.

Zatem

limn→∞⁡B-β=limn→∞⁡Sx⁢x-1⁢g¯n=Σx⁢x-1⁢0=0⁢⁢⁢⁢p.n.

Ad. b.
Proces gt oprócz tego, że jest stacjonarny i ergodyczny to jest ciągiem przyrostów martyngałowych, a więc ((8.6))

n⁢g¯⟶dN⁢0,Σg⁢g.

Zatem

n⁢B-β⟶dN⁢0,Σx⁢x-1⁢Σg⁢g⁢Σx⁢x-1.

Jeśli ponadto założymy Z̃6 to

Σg⁢g=σ2⁢Σx⁢x,

zatem

A⁢v⁢a⁢r⁢B=Σx⁢x-1⁢Σg⁢g⁢Σx⁢x-1=Σx⁢x-1⁢σ2⁢Σx⁢x⁢Σx⁢x-1=σ2⁢Σx⁢x-1.

Ad. c.
Przepisując odpowiednio równanie 9.1 otrzymujemy

ξt=εt-Xt⁢B-β.

Zatem

ξt2=εt2-2⁢gt⁢B-β+B-βT⁢XtT⁢Xt⁢B-β.

Po uśrednieniu otrzymujemy

1n⁢∑t=0n-1ξt2=1n⁢∑t=0n-1εt2-2⁢g¯n⁢B-β+B-βT⁢Sx⁢x⁢B-β.

Przechodzimy do granicy. Ponieważ

limn→∞B-β=0=limn→∞g¯n, oraz limn→∞Sx⁢x=Σx⁢xp.n.,

to otrzymujemy, że

limn→∞⁡1n⁢∑t=0n-1ξt2=E⁢ε2⁢⁢⁢⁢p.n.

Zatem

limn→∞⁡S2=limn→∞⁡nn-K⁢1n⁢∑t=0n-1ξt2=E⁢ε2⁢⁢⁢⁢p.n.

Jeśli ponadto założymy Z̃6 to

E(ε2)=E(E(ε2|Xt))=σ2,

zatem

limn→∞⁡S2=σ2⁢⁢⁢⁢p.n.

Ad. d.
Korzystając z warunku Z̃6 otrzymujemy

limn→∞⁡S2⁢Sx⁢x-1=σ2⁢Σx⁢x-1=A⁢v⁢a⁢r⁢B⁢⁢⁢⁢p.n.

□