Zagadnienia

4.1 Notacja macierzowa dla zmiennych losowych
4.2 Warunkowa wartość oczekiwana
4.3 Założenia klasycznego modelu regresji
4.4 Estymacja parametrów modelu metodą MNK

4. Klasyczny model regresji

Klasyczny jednorównaniowy liniowy model ekonometryczny. Założenia modelu. Estymacja parametrów strukturalnych modelu metodą najmniejszych kwadratów (regresja wieloraka). (1 wykład)

4.1. Notacja macierzowa dla zmiennych losowych

Definicja 4.1

Niech X będzie m×n macierzą losową, której wyrazami są zmienne losowe Xi,j określone na tej samej przestrzeni probabilistycznej. Wartością oczekiwaną X będziemy nazywać m×n macierz E⁢X taką, że

E⁢Xi,j=E⁢Xi,j.

Uwaga 4.1

Wartość oczekiwana macierzy jest zgodna z transpozycją

E⁢XT=E⁢XT

oraz z mnożeniem przez macierze deterministyczne

E⁢A⁢X⁢B=A⁢E⁢X⁢B,

gdzie A i B macierze o współczynnikach rzeczywistych odpowiednio wymiaru k×m i n×p.

Definicja 4.2

Niech X będzie m×1 macierzą losową (wektorem kolumnowym), której wyrazami są zmienne losowe Xi określone na tej samej przestrzeni probabilistycznej. Macierzą kowariancji X będziemy nazywać m×m macierz V⁢a⁢r⁢X

V⁢a⁢r⁢X=E⁢X-E⁢X⁢X-E⁢XT.

Uwaga 4.2

Zachodzą następujące związki

V⁢a⁢r⁢X=E⁢X⁢XT-E⁢X⁢E⁢XT,

V⁢a⁢r⁢Xi,i=D2⁢Xi,⁢⁢⁢V⁢a⁢r⁢Xi,j=C⁢o⁢v⁢Xi,Xj.

V⁢a⁢r⁢X jest macierzą symetryczną

V⁢a⁢r⁢XT=V⁢a⁢r⁢X.

Ponadto dla deterministycznej k×m macierzy A

V⁢a⁢r⁢A⁢X=A⁢V⁢a⁢r⁢X⁢AT.

Definicja 4.3

Niech X i Y będą wektorami kolumnowymi, których wyrazami są zmienne losowe Xi, i=1,…,m1 i Yj, j=1,…,m2 określone na tej samej przestrzeni probabilistycznej. Macierzą kowariancji X i Y będziemy nazywać m1×m2 macierz C⁢o⁢v⁢X,Y

C⁢o⁢v⁢X,Y=E⁢X-E⁢X⁢Y-E⁢YT.

Uwaga 4.3

Zachodzą następujące związki

C⁢o⁢v⁢X,Y=E⁢X⁢YT-E⁢X⁢E⁢YT,

C⁢o⁢v⁢X,Yi,j=C⁢o⁢v⁢Xi,Yj,

C⁢o⁢v⁢Y,X=C⁢o⁢v⁢X,YT.

Ponadto dla deterministycznych k×m1 macierzy A i p×m2 B

C⁢o⁢v⁢A⁢X,B⁢Y=A⁢C⁢o⁢v⁢X,Y⁢BT.

4.2. Warunkowa wartość oczekiwana

Niech Ω,M,P będzie przestrzenią probabilistyczną, F σ-ciałem zawartym w M a Y zmienną losową określoną na Ω,M,P.

Definicja 4.4

Warunkową wartością oczekiwaną Y pod warunkiem F nazywamy każdą zmienną losową E(Y|F) o wartościach w R∪±∞ spełniającą warunki:
i) E(Y|F) jest F mierzalna;
ii) Dla każdego A∈F

∫AYdP=∫AE(Y|F)dP.

Lemat 4.1

Każdy z poniższych warunków implikuje istnienie warunkowej wartości oczekiwanej E(Y|F).
1. E⁢Y jest określona (tzn. skończona lub nieskończona).
2. Y należy do L1⁢Ω,M,P.
3. Y≥0 p.n. lub Y≤0 p.n.

Uwaga 4.4

Warunkowa wartość oczekiwana ma następujące własności:
1. Y≥0 p.n. to E(Y|F)≥0 p.n.
2. E(1|F)=1 p.n.
3. E(Y1+Y2|F)=E(Y1|F)+E(Y2|F) o ile prawa strona jest określona (tzn. różna od ∞-∞),
4. Jeżeli zmienna losowa ξ jest F mierzalna i wartość oczekiwana E⁢ξ⁢Y jest określona to

E(ξY|F)=ξE(Y|F).

5. Jeżeli wartość oczekiwana E⁢Y jest określona to dla dowolnego σ-ciała G zawartego w F

E(Y|G)=E(E(Y|F)|G) p.n.

W szczególności

E(Y)=E(E(Y|F)).

4.3. Założenia klasycznego modelu regresji

W modelu regresji rozważa się zmienną objaśnianą (zależną, zwaną też regressandem) - Y i zmienne objaśniające (zwane regressorami) - X1,…,XK.

Dysponujemy próbką złożoną z n obserwacji. i-tą obserwację modelujemy jako realizację K+1 wymiarowej zmiennej losowej

Yi,Xi,1,…,Xi,K,⁢⁢⁢i=1,…,n.

Przez model rozumie się łączny rozkład zmiennych losowych Yi i Xi,k spełniający pewne założenia.

Założenia modelu.

Z1. Liniowość.
Zmienne losowe Yi i Xi,k należą do L2 i spełniają zależność

Yi=β1⁢Xi,1+…+βK⁢Xi,K+εi,⁢⁢⁢i=1,…,n,

gdzie βi∈R to deterministyczne choć na ogół nieznane parametry regresji zwane też parametrami strukturalnymi modelu, zaś zmienne losowe εi to składniki losowe. Funkcję

f⁢x=β1⁢x1+β2⁢x2+…+βK⁢xK,⁢⁢⁢x∈RK,

nazywa się funkcją regresji. Warunek liniowości można zapisać w postaci macierzowej

Y=X⁢β+ε,

gdzie X macierz o wyrazach Xi,k, Y, β i ε wektory kolumnowe o wyrazach odpowiednio Yi, βk i εi.

Uwaga 4.5

Założenie Z1 implikuje przynależność ε do L2.

Z2. Ścisła egzogeniczność.

E(ϵ|X)=0.

Wniosek 4.1

Przy założeniach Z1 i Z2 dla wszystkich i,j∈1,…,n i k∈1,…,K zachodzą następujące równości:
1. E⁢εi=0;
2. E⁢εi⁢Xj,k=0;
3. C⁢o⁢v⁢εi,Xj,k=0.

Dowód.
Ponieważ zarówno εi jak i Xj,k należą do L2 (to wynika z Z1) to możemy stosować twierdzenie o iterowanej wartości oczekiwanej.

Ad1.	E⁢εi=	E(E(εi\|X))=E(0)=0.
Ad2.	E⁢εi⁢Xj,k=	E(E(εiXj,k\|X))=E(Xj,kE(εi\|X))=E(0)=0.
Ad3.	C⁢o⁢v⁢εi,Xj,k=	E⁢εi⁢Xj,k-E⁢εi⁢E⁢Xj,k=0-0=0.

□

Z3. Liniowa niezależność.

(P(rk(X)=K)=1, i (XTX)-1∈L1.

Warunek Z3 oznacza, że kolumny macierzy X są prawie na pewno liniowo niezależne.

Z4. Sferyczność błędu

E(εεT|X)=σ2Idn,

gdzie σ>0 deterministyczny parametr modelu.

Warunek Z4 można rozłożyć na dwa warunki:
Z4.1. Homoskedastyczność

E(εi2|X)=σ2.

Z4.2. Brak korelacji, dla i≠j

E(εiεj|X)=0.

Wniosek 4.2

Przy założeniach Z1, Z2 i Z4 dla wszystkich i,j∈1,…,n, i≠j zachodzą następujące równości:
1. D2⁢εi=σ2;
2. C⁢o⁢v⁢εi,εj=0.

Z5. Gaussowskość.
Łączny rozkład warunkowy ε względem X jest normalny.

Wniosek 4.3

Przy założeniach Z1, Z2, Z4 i Z5:
1. ε|X∼N(0,σ2Idn);
2. ε∼N⁢0,σ2⁢I⁢dn.

Dowód.
Punkt 1 wynika z założeń Z2 i Z5.
Punkt 2 wynika z faktu, że parametry warunkowego rozkładu ε nie zależy od X. Rzeczywiście, niech F⁢e1,…,en będzie dystrybuantą rozkładu N⁢0,σ2⁢I⁢dn, wówczas

P(εi≤ei,i=1,…,n)=E(∏i=1n1εi≤ei)=E(E(∏i=1n1εi≤ei|X))=E(F(e1,…,en))=F(e1,…,en).

□

4.4. Estymacja parametrów modelu metodą MNK

Estymatorem MNK wektora β jest wektor

B=XT⁢X-1⁢XT⁢Y.

Natomiast estmatorem MNK wariancji σ2 jest

SY2=ξT⁢ξn-K=S⁢K⁢Rm⁢i⁢nn-K,

gdzie ξ=Y-X⁢B.

Twierdzenie 4.1

Własności estymatorów B i Sy:
a) nieobciążoność B. Jeśli zachodzą Z1,Z2 i Z3 to

B∈L1 i E(B|X)=β.

b) skończona wariancja B. Jeśli zachodzą Z1,Z2,Z3 i Z4 to

Var(B|X)=σ2(XTX)-1 i B∈L2.

c) efektywność (tw. Gaussa-Markowa). Jeśli zachodzą Z1,Z2,Z3 i Z4 to estymator MNK jest najefektywniejszy w klasie liniowych po Y, nieobciążonych estymatorów liniowych modeli.

∀β∀β^- lin. nieob. est.Var(β^|X)-Var(B|X)≥0.

d) nieobciążoność SY. Jeśli zachodzą Z1,Z2,Z3 i Z4 to

ξ∈L2 i E(S2Y|X)=σ2.

e) ortogonalność B do składnika resztowego ξ. Jeśli zachodzą Z1,Z2,Z3 i Z4 to

Cov(B,ξ|X)=0.

Dowód.
Ad.a. Najpierw pokażemy, że warunki Z3 i Z1 implikują przynależność B do L1. Mamy

XT⁢X-1⁢XT⁢XT⁢X-1⁢XTT=XT⁢X-1⁢XT⁢X⁢XT⁢X-1=XT⁢X-1∈L1.

Zatem wszystkie wyrazy macierzy XT⁢X-1⁢XT należą do L2. Ponieważ również Y∈L2, to B=XT⁢X-1⁢XT⁢Y należy do L1.

Następnie pokażemy, że E((B-β)|X)=0.
Mamy dwa równania opisujące zależność Y od X:

	Y	=	X⁢β+ε,
	Y	=	X⁢B+ξ.

Po odjęciu stronami otrzymujemy:

X⁢B-β=ε-ξ.

(4.1)

Mnożymy obie strony przez XT⁢X-1⁢XT

XT⁢X-1⁢XT⁢X⁢B-β=XT⁢X-1⁢XT⁢ε-XT⁢X-1⁢XT⁢ξ.

Biorąc pod uwagę, że XT⁢ξ=0 (patrz wniosek 2.1) otrzymujemy:

B-β=XT⁢X-1⁢XT⁢ε.

(4.2)

Zatem

E((B-β)|X)=E((XTX)-1XTε|X)=(XTX)-1XTE(ε|X)=0.

Ad.b. Pokażemy, że dla każdego wektora kolumnowego v∈RK⁢⁢ D2(vTB|X)=σ2vT(XTX)-1v. Skorzystamy z faktu, że wartości oczekiwane nieujemnych zmiennych losowych są zawsze określone.

D2(vTB\|X)	=	D2(vT(B-β)\|X)=D2(vT(XTX)-1XTε\|X)=
	=	E(vT(XTX)-1XTεεTX(XTX)-1v\|X)=
	=	vT(XTX)-1XTE(εεT\|X)X(XTX)-1v=
	=	vT⁢XT⁢X-1⁢XT⁢σ2⁢I⁢dn⁢X⁢XT⁢X-1⁢v=
	=	σ2⁢vT⁢XT⁢X-1⁢XT⁢X⁢XT⁢X-1⁢v=
	=	σ2⁢vT⁢XT⁢X-1⁢v.

Założenie, że XT⁢X-1∈L1 (Z3) implikuje skończoność wariancji vT⁢B dla każdego v, a więc i wariancji B.

	D2⁢vT⁢B	=	D2⁢vT⁢B-β=E⁢vT⁢B-β⁢B-βT⁢v=
		=	E(E(vT(B-β)(B-β)Tv\|X))=σ2vTE(XTX)-1)v<+∞.

Ad.c. Niech β^ będzie dowolnym nieobciążonym i liniowym po Y estymatorem dla modeli liniowych z K parametrami strukturalnymi i n obserwacjami. Wówczas istnieje funkcja macierzowa C(⋅) (C∈K×n), taka, że

β^=C⁢X⁢Y.

Niech G=C-XT⁢X-1⁢XT.

β^=G+XT⁢X-1⁢XT⁢Y=G⁢Y+XT⁢X-1⁢XT⁢Y=G⁢X⁢β+ε+B.

Ponieważ oba estymatory B i β^ są nieobciążone to

β=E(β^|X)=GXβ+GE(ε|X)+E(B|X)=GXβ+0+β.

Czyli dla dowolnego wektora β⁢⁢ G⁢X⁢β=0, a zatem G⁢X=0. W efekcie otrzymujemy:

β^=G⁢ε+B,

β^-β=G⁢ε+B-β=G+XT⁢X-1⁢XT⁢ε.

Teraz możemy wyznaczyc warunkową wariancje β^.

Var(β^\|X)	=	Var(β^-β)=Var((G+(XTX)-1XT)ε\|X)=
	=	E((G+(XTX)-1XT)εεT(GT+X(XTX)-1)\|X)=
	=	(G+(XTX)-1XT)E(εεT\|X)(GT+X(XTX)-1)=
	=	G+XT⁢X-1⁢XT⁢σ2⁢I⁢dn⁢GT+X⁢XT⁢X-1=
	=	σ2⁢G⁢GT+G⁢X⁢XT⁢X-1+XT⁢X-1⁢XT⁢GT+XT⁢X-1.

Ponieważ G⁢X=0 a Var(B|X)=σ2(XTX)-1, to

Var(β^|X)-Var(B|X)=σ2GGT≥0.

Ad.d. Z równań 4.1 i 4.2 otrzymujemy, że

ξ=ε-X⁢B-β=I⁢d-X⁢XT⁢X-1⁢XT⁢ε=M⁢ε.

Jak pokazaliśmy w lemacie 2.2 macierz M jest symetryczna i idempotentna, zatem

ξT⁢ξ=εT⁢M⁢M⁢ε=εT⁢M⁢ε.

(4.3)

Ponieważ, ξT⁢ξ to suma kwadratów ξt to jej wartości oczekiwane są zawsze określone. Otrzymujemy na mocy warunku Z3 i lematu 2.2

	E(ξTξ\|X)	=	E(εTMε\|X)=E(∑i,j=1nεiMi,jεj\|X)=
		=	∑i,j=1nMi,jE(εiεj\|X)=∑i=1nMi,iσ2=σ2trM=(n-K)σ2.

Ponadto

E(ξTξ)=E(E(ξTξ|X))=(n-K)σ2.

Zatem ξ należy do L2.

Ad.e. Biorąc pod uwagę, że ξ=ε-X⁢B-β (równanie 4.1) i E(ξ|X)=0 to

Cov(B,ξ\|X)	=	E((B-β)(ε-X(B-β))T\|X)=
	=	E(-(B-β)(B-β)TXT+(B-β)εT\|X)=
	=	-Var(B-β\|X)XT+E((XTX)-1XTεεT\|X)=
	=	-σ2(XTX)-1XT+(XTX)-1XTE(εεT\|X)=
	=	-σ2⁢XT⁢X-1⁢XT+XT⁢X-1⁢XT⁢σ2⁢I⁢dn=0.

□

Wniosek 4.4

”Bezwarunkowe” własności estymatora MNK B.
a. Warunki Z1,Z2 i Z4 implikują, że E⁢B=β.
b. Warunki Z1,Z2,Z3 i Z4 implikują, że C⁢o⁢v⁢B,ξ=0.

Dowód.

E(B)=E(E(B|X))=E(β)=β.

Cov(B,ξ)=Cov(B-β,ξ)=E((B-β)ξT)=E(E((B-β)ξT|X))=E(Cov(B,ξ|X))=0.

□

Wniosek 4.5

Estymacja warunkowej kowariancji estymatora B.
1. SY2⁢XT⁢X-1 jest naturalnym nieobciążonym estymatorem Var(B|X).
2. SY2⁢XT⁢Xk,k-1 jest naturalnym nieobciążonym estymatorem D2(bk|X).

Dowód.
Pokażemy, że dla każdego wektora kolumnowego v∈RK⁢⁢ E(S2YvT(XTX)-1v|X)=σ2vT(XTX)-1v. Skorzystamy z faktu, że wartości oczekiwane nieujemnych zmiennych losowych są zawsze określone.

E(S2YvT(XTX)-1v|X)=E(S2Y|X)vT(XTX)-1v=σ2vT(XTX)-1v=Var(vTB|X).

□

Oznaczenie.

S⁢E⁢bk=SY2⁢XT⁢X-1.

Uwaga 4.6

Związek wariancji estymatora B z wielkością próby.
Załóżmy, że poszczególne wiersze macierzy X (czyli obserwacje) są niezależne od siebie i o tym samym rozkładzie co pewien horyzontalny wektor losowy Z. Wówczas z prawa wielkich liczb otrzymujemy, że istnieje pewna macierz C taka, że

limn→∞⁡1n⁢XT⁢X=C=E⁢Z⁢ZT.

Warunek Z3 implikuje, że macierz C jest odwracalna. Zatem

limn→∞⁡n⁢XT⁢X-1=C-1.

W efekcie

limn→∞Var(B|X)=limn→∞σ2n(n(XTX)-1)=0.

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Cov(B,ξ\|X)	=	E((B-β)(ε-X(B-β))T\|X)=
	=	E(-(B-β)(B-β)TXT+(B-β)εT\|X)=
	=	-Var(B-β\|X)XT+E((XTX)-1XTεεT\|X)=
	=	-σ2(XTX)-1XT+(XTX)-1XTE(εεT\|X)=
	=	-σ2⁢XT⁢X-1⁢XT+XT⁢X-1⁢XT⁢σ2⁢I⁢dn=0.

Ekonometria