Klasyczny jednorównaniowy liniowy model ekonometryczny. Założenia modelu. Estymacja parametrów strukturalnych modelu metodą najmniejszych kwadratów (regresja wieloraka). (1 wykład)
Niech będzie macierzą losową, której wyrazami są zmienne losowe określone na tej samej przestrzeni probabilistycznej. Wartością oczekiwaną będziemy nazywać macierz taką, że
Wartość oczekiwana macierzy jest zgodna z transpozycją
oraz z mnożeniem przez macierze deterministyczne
gdzie i macierze o współczynnikach rzeczywistych odpowiednio wymiaru i .
Niech będzie macierzą losową (wektorem kolumnowym), której wyrazami są zmienne losowe określone na tej samej przestrzeni probabilistycznej. Macierzą kowariancji będziemy nazywać macierz
Zachodzą następujące związki
jest macierzą symetryczną
Ponadto dla deterministycznej macierzy
Niech i będą wektorami kolumnowymi, których wyrazami są zmienne losowe , i , określone na tej samej przestrzeni probabilistycznej. Macierzą kowariancji i będziemy nazywać macierz
Zachodzą następujące związki
Ponadto dla deterministycznych macierzy i
Niech będzie przestrzenią probabilistyczną, -ciałem zawartym w a zmienną losową określoną na .
Warunkową wartością oczekiwaną pod warunkiem nazywamy każdą zmienną losową
o wartościach w spełniającą warunki:
i) jest mierzalna;
ii) Dla każdego
Każdy z poniższych warunków implikuje istnienie warunkowej wartości oczekiwanej
.
1. jest określona (tzn. skończona lub nieskończona).
2. należy do .
3. p.n. lub p.n.
Warunkowa wartość oczekiwana ma następujące własności:
1. p.n. to p.n.
2. p.n.
3. o ile prawa strona jest określona (tzn. różna od ),
4. Jeżeli zmienna losowa jest mierzalna i wartość oczekiwana jest określona to
5. Jeżeli wartość oczekiwana jest określona to dla dowolnego -ciała zawartego w
W szczególności
W modelu regresji rozważa się zmienną objaśnianą (zależną, zwaną też regressandem) -
i zmienne objaśniające (zwane regressorami) - .
Dysponujemy próbką złożoną z obserwacji. -tą obserwację modelujemy jako realizację wymiarowej zmiennej losowej
Przez model rozumie się łączny rozkład zmiennych losowych i spełniający pewne założenia.
Założenia modelu.
Z1. Liniowość.
Zmienne losowe i należą do i spełniają zależność
gdzie to deterministyczne choć na ogół nieznane parametry regresji zwane też parametrami strukturalnymi modelu, zaś zmienne losowe to składniki losowe. Funkcję
nazywa się funkcją regresji. Warunek liniowości można zapisać w postaci macierzowej
gdzie macierz o wyrazach , , i wektory kolumnowe o wyrazach odpowiednio , i .
Założenie Z1 implikuje przynależność do .
Z2. Ścisła egzogeniczność.
Przy założeniach Z1 i Z2 dla wszystkich i zachodzą
następujące równości:
1. ;
2. ;
3. .
Dowód.
Ponieważ zarówno jak i należą do (to wynika z Z1) to możemy stosować twierdzenie o iterowanej wartości oczekiwanej.
Ad1. | ||||
Ad2. | ||||
Ad3. |
Z3. Liniowa niezależność.
Warunek Z3 oznacza, że kolumny macierzy są prawie na pewno liniowo niezależne.
Z4. Sferyczność błędu
gdzie deterministyczny parametr modelu.
Warunek Z4 można rozłożyć na dwa warunki:
Z4.1. Homoskedastyczność
Z4.2. Brak korelacji, dla
Przy założeniach Z1, Z2 i Z4 dla wszystkich , zachodzą
następujące równości:
1. ;
2. .
Z5. Gaussowskość.
Łączny rozkład warunkowy względem jest normalny.
Przy założeniach Z1, Z2, Z4 i Z5:
1. ;
2. .
Dowód.
Punkt 1 wynika z założeń Z2 i Z5.
Punkt 2 wynika z faktu, że parametry warunkowego rozkładu nie zależy od . Rzeczywiście, niech będzie dystrybuantą rozkładu , wówczas
Estymatorem MNK wektora jest wektor
Natomiast estmatorem MNK wariancji jest
gdzie .
Własności estymatorów i :
a) nieobciążoność . Jeśli zachodzą Z1,Z2 i Z3 to
b) skończona wariancja . Jeśli zachodzą Z1,Z2,Z3 i Z4 to
c) efektywność (tw. Gaussa-Markowa). Jeśli zachodzą Z1,Z2,Z3 i Z4 to estymator MNK jest najefektywniejszy w klasie liniowych po , nieobciążonych estymatorów liniowych modeli.
d) nieobciążoność . Jeśli zachodzą Z1,Z2,Z3 i Z4 to
e) ortogonalność do składnika resztowego . Jeśli zachodzą Z1,Z2,Z3 i Z4 to
Dowód.
Ad.a. Najpierw pokażemy, że warunki Z3 i Z1 implikują przynależność do . Mamy
Zatem wszystkie wyrazy macierzy należą do .
Ponieważ również , to należy do .
Następnie pokażemy, że .
Mamy dwa równania opisujące zależność od :
Po odjęciu stronami otrzymujemy:
(4.1) |
Mnożymy obie strony przez
Biorąc pod uwagę, że (patrz wniosek 2.1) otrzymujemy:
(4.2) |
Zatem
Ad.b. Pokażemy, że dla każdego wektora kolumnowego . Skorzystamy z faktu, że wartości oczekiwane nieujemnych zmiennych losowych są zawsze określone.
Założenie, że (Z3) implikuje skończoność wariancji dla każdego , a więc i wariancji .
Ad.c. Niech będzie dowolnym nieobciążonym i liniowym po estymatorem dla modeli liniowych z parametrami strukturalnymi i obserwacjami. Wówczas istnieje funkcja macierzowa (), taka, że
Niech .
Ponieważ oba estymatory i są nieobciążone to
Czyli dla dowolnego wektora , a zatem . W efekcie otrzymujemy:
Teraz możemy wyznaczyc warunkową wariancje .
Ponieważ a , to
Ad.d. Z równań 4.1 i 4.2 otrzymujemy, że
Jak pokazaliśmy w lemacie 2.2 macierz jest symetryczna i idempotentna, zatem
(4.3) |
Ponieważ, to suma kwadratów to jej wartości oczekiwane są zawsze określone. Otrzymujemy na mocy warunku Z3 i lematu 2.2
Ponadto
Zatem należy do .
”Bezwarunkowe” własności estymatora MNK .
a. Warunki Z1,Z2 i Z4 implikują, że .
b. Warunki Z1,Z2,Z3 i Z4 implikują, że .
Dowód.
Estymacja warunkowej kowariancji estymatora .
1. jest naturalnym nieobciążonym estymatorem .
2. jest naturalnym nieobciążonym estymatorem .
Dowód.
Pokażemy, że dla każdego wektora kolumnowego .
Skorzystamy z faktu, że wartości oczekiwane nieujemnych zmiennych losowych są zawsze określone.
Oznaczenie.
Związek wariancji estymatora z wielkością próby.
Załóżmy, że poszczególne wiersze macierzy (czyli obserwacje) są niezależne od siebie i o tym samym rozkładzie co pewien horyzontalny wektor losowy .
Wówczas z prawa wielkich liczb otrzymujemy, że istnieje pewna macierz taka, że
Warunek Z3 implikuje, że macierz jest odwracalna. Zatem
W efekcie
Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.
strona główna | webmaster | o portalu | pomoc
© Wydział Matematyki, Informatyki i Mechaniki UW, 2009-2010. Niniejsze materiały są udostępnione bezpłatnie na licencji Creative Commons Uznanie autorstwa-Użycie niekomercyjne-Bez utworów zależnych 3.0 Polska.
Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego.
Projekt współfinansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego i przez Uniwersytet Warszawski.