Klasyczny jednorównaniowy liniowy model ekonometryczny. Założenia modelu. Estymacja parametrów strukturalnych modelu metodą najmniejszych kwadratów (regresja wieloraka). (1 wykład)
Niech
będzie
macierzą losową, której wyrazami są zmienne losowe
określone na tej samej przestrzeni probabilistycznej.
Wartością oczekiwaną
będziemy nazywać
macierz
taką, że
Wartość oczekiwana macierzy jest zgodna z transpozycją
oraz z mnożeniem przez macierze deterministyczne
gdzie
i
macierze o współczynnikach rzeczywistych odpowiednio wymiaru
i
.
Niech
będzie
macierzą losową (wektorem kolumnowym), której wyrazami są zmienne losowe
określone na tej samej przestrzeni probabilistycznej.
Macierzą kowariancji
będziemy nazywać
macierz ![]()
Zachodzą następujące związki
jest macierzą symetryczną
Ponadto dla deterministycznej
macierzy ![]()
Niech
i
będą wektorami kolumnowymi, których wyrazami są zmienne losowe
,
i
,
określone na tej samej przestrzeni probabilistycznej.
Macierzą kowariancji
i
będziemy nazywać
macierz ![]()
Zachodzą następujące związki
Ponadto dla deterministycznych
macierzy
i
![]()
Niech
będzie przestrzenią probabilistyczną,
-ciałem zawartym w
a
zmienną losową określoną na
.
Warunkową wartością oczekiwaną
pod warunkiem
nazywamy każdą zmienną losową
o wartościach w
spełniającą warunki:
i)
jest
mierzalna;
ii) Dla każdego ![]()
Każdy z poniższych warunków implikuje istnienie warunkowej wartości oczekiwanej
.
1.
jest określona (tzn. skończona lub nieskończona).
2.
należy do
.
3.
p.n. lub
p.n.
Warunkowa wartość oczekiwana ma następujące własności:
1.
p.n. to
p.n.
2.
p.n.
3.
o ile prawa strona jest określona (tzn. różna od
),
4. Jeżeli zmienna losowa
jest
mierzalna i wartość oczekiwana
jest określona to
5. Jeżeli wartość oczekiwana
jest określona to dla dowolnego
-ciała
zawartego w ![]()
W szczególności
W modelu regresji rozważa się zmienną objaśnianą (zależną, zwaną też regressandem) -
i zmienne objaśniające (zwane regressorami) -
.
Dysponujemy próbką złożoną z
obserwacji.
-tą obserwację modelujemy jako realizację
wymiarowej zmiennej losowej
Przez model rozumie się łączny rozkład zmiennych losowych
i
spełniający pewne założenia.
Założenia modelu.
Z1. Liniowość.
Zmienne losowe
i
należą do
i spełniają zależność
gdzie
to deterministyczne choć na ogół nieznane parametry regresji zwane też parametrami strukturalnymi modelu, zaś zmienne losowe
to składniki losowe.
Funkcję
nazywa się funkcją regresji. Warunek liniowości można zapisać w postaci macierzowej
gdzie
macierz o wyrazach
,
,
i
wektory kolumnowe o wyrazach odpowiednio
,
i
.
Założenie Z1 implikuje przynależność
do
.
Z2. Ścisła egzogeniczność.
Przy założeniach Z1 i Z2 dla wszystkich
i
zachodzą
następujące równości:
1.
;
2.
;
3.
.
Dowód.
Ponieważ zarówno
jak i
należą do
(to wynika z Z1) to możemy stosować twierdzenie o iterowanej wartości oczekiwanej.
| Ad1. | ||||
| Ad2. | ||||
| Ad3. |
Z3. Liniowa niezależność.
Warunek Z3 oznacza, że kolumny macierzy
są prawie na pewno liniowo niezależne.
Z4. Sferyczność błędu
gdzie
deterministyczny parametr modelu.
Warunek Z4 można rozłożyć na dwa warunki:
Z4.1. Homoskedastyczność
Z4.2. Brak korelacji, dla ![]()
Przy założeniach Z1, Z2 i Z4 dla wszystkich
,
zachodzą
następujące równości:
1.
;
2.
.
Z5. Gaussowskość.
Łączny rozkład warunkowy
względem
jest normalny.
Przy założeniach Z1, Z2, Z4 i Z5:
1.
;
2.
.
Dowód.
Punkt 1 wynika z założeń Z2 i Z5.
Punkt 2 wynika z faktu, że parametry warunkowego rozkładu
nie zależy od
. Rzeczywiście, niech
będzie dystrybuantą rozkładu
, wówczas
![]() |
Estymatorem MNK wektora
jest wektor
Natomiast estmatorem MNK wariancji
jest
gdzie
.
Własności estymatorów
i
:
a) nieobciążoność
. Jeśli zachodzą Z1,Z2 i Z3 to
b) skończona wariancja
. Jeśli zachodzą Z1,Z2,Z3 i Z4 to
c) efektywność (tw. Gaussa-Markowa). Jeśli zachodzą Z1,Z2,Z3 i Z4 to
estymator MNK jest najefektywniejszy w klasie liniowych po
, nieobciążonych estymatorów liniowych modeli.
d) nieobciążoność
. Jeśli zachodzą Z1,Z2,Z3 i Z4 to
e) ortogonalność
do składnika resztowego
. Jeśli zachodzą Z1,Z2,Z3 i Z4 to
Dowód.
Ad.a. Najpierw pokażemy, że warunki Z3 i Z1 implikują przynależność
do
. Mamy
Zatem wszystkie wyrazy macierzy
należą do
.
Ponieważ również
, to
należy do
.
Następnie pokażemy, że
.
Mamy dwa równania opisujące zależność
od
:
Po odjęciu stronami otrzymujemy:
| (4.1) |
Mnożymy obie strony przez ![]()
Biorąc pod uwagę, że
(patrz wniosek 2.1) otrzymujemy:
| (4.2) |
Zatem
Ad.b. Pokażemy, że dla każdego wektora kolumnowego
.
Skorzystamy z faktu, że wartości oczekiwane nieujemnych zmiennych losowych są zawsze określone.
Założenie, że
(Z3) implikuje skończoność wariancji
dla każdego
, a więc i wariancji
.
Ad.c. Niech
będzie dowolnym nieobciążonym i liniowym po
estymatorem dla modeli liniowych z
parametrami strukturalnymi i
obserwacjami. Wówczas istnieje funkcja macierzowa
(
), taka, że
Niech
.
Ponieważ oba estymatory
i
są nieobciążone to
Czyli dla dowolnego wektora
, a zatem
. W efekcie otrzymujemy:
Teraz możemy wyznaczyc warunkową wariancje
.
Ponieważ
a
, to
Ad.d. Z równań 4.1 i 4.2 otrzymujemy, że
Jak pokazaliśmy w lemacie 2.2 macierz
jest symetryczna i idempotentna, zatem
| (4.3) |
Ponieważ,
to suma kwadratów
to jej wartości oczekiwane są zawsze określone. Otrzymujemy na mocy warunku Z3 i lematu 2.2
![]() |
||||
![]() |
Ponadto
Zatem
należy do
.
”Bezwarunkowe” własności estymatora MNK
.
a. Warunki Z1,Z2 i Z4 implikują, że
.
b. Warunki Z1,Z2,Z3 i Z4 implikują, że
.
Dowód.
Estymacja warunkowej kowariancji estymatora
.
1.
jest naturalnym nieobciążonym estymatorem
.
2.
jest naturalnym nieobciążonym estymatorem
.
Dowód.
Pokażemy, że dla każdego wektora kolumnowego
.
Skorzystamy z faktu, że wartości oczekiwane nieujemnych zmiennych losowych są zawsze określone.
Oznaczenie.
Związek wariancji estymatora
z wielkością próby.
Załóżmy, że poszczególne wiersze macierzy
(czyli obserwacje) są niezależne od siebie i o tym samym rozkładzie co pewien horyzontalny wektor losowy
.
Wówczas z prawa wielkich liczb otrzymujemy, że istnieje pewna macierz
taka, że
Warunek Z3 implikuje, że macierz
jest odwracalna.
Zatem
W efekcie
Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.
strona główna | webmaster | o portalu | pomoc
© Wydział Matematyki, Informatyki i
Mechaniki UW, 2009-2010.
Niniejsze materiały są udostępnione bezpłatnie na licencji Creative Commons Uznanie autorstwa-Użycie niekomercyjne-Bez utworów zależnych 3.0 Polska.
Projekt współfinansowany przez Unię Europejską w ramach
Europejskiego Funduszu Społecznego.
Projekt współfinansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego i przez Uniwersytet Warszawski.