Klasyczny jednorównaniowy liniowy model ekonometryczny. Założenia modelu. Estymacja parametrów strukturalnych modelu metodą najmniejszych kwadratów (regresja wieloraka). (1 wykład)
Niech będzie
macierzą losową, której wyrazami są zmienne losowe
określone na tej samej przestrzeni probabilistycznej.
Wartością oczekiwaną
będziemy nazywać
macierz
taką, że
![]() |
Wartość oczekiwana macierzy jest zgodna z transpozycją
![]() |
oraz z mnożeniem przez macierze deterministyczne
![]() |
gdzie i
macierze o współczynnikach rzeczywistych odpowiednio wymiaru
i
.
Niech będzie
macierzą losową (wektorem kolumnowym), której wyrazami są zmienne losowe
określone na tej samej przestrzeni probabilistycznej.
Macierzą kowariancji
będziemy nazywać
macierz
![]() |
Zachodzą następujące związki
![]() |
![]() |
jest macierzą symetryczną
![]() |
Ponadto dla deterministycznej macierzy
![]() |
Niech i
będą wektorami kolumnowymi, których wyrazami są zmienne losowe
,
i
,
określone na tej samej przestrzeni probabilistycznej.
Macierzą kowariancji
i
będziemy nazywać
macierz
![]() |
Zachodzą następujące związki
![]() |
![]() |
![]() |
Ponadto dla deterministycznych macierzy
i
![]() |
Niech będzie przestrzenią probabilistyczną,
-ciałem zawartym w
a
zmienną losową określoną na
.
Warunkową wartością oczekiwaną pod warunkiem
nazywamy każdą zmienną losową
o wartościach w
spełniającą warunki:
i) jest
mierzalna;
ii) Dla każdego
![]() |
Każdy z poniższych warunków implikuje istnienie warunkowej wartości oczekiwanej
.
1. jest określona (tzn. skończona lub nieskończona).
2. należy do
.
3. p.n. lub
p.n.
Warunkowa wartość oczekiwana ma następujące własności:
1. p.n. to
p.n.
2. p.n.
3. o ile prawa strona jest określona (tzn. różna od
),
4. Jeżeli zmienna losowa jest
mierzalna i wartość oczekiwana
jest określona to
![]() |
5. Jeżeli wartość oczekiwana jest określona to dla dowolnego
-ciała
zawartego w
![]() |
W szczególności
![]() |
W modelu regresji rozważa się zmienną objaśnianą (zależną, zwaną też regressandem) -
i zmienne objaśniające (zwane regressorami) -
.
Dysponujemy próbką złożoną z obserwacji.
-tą obserwację modelujemy jako realizację
wymiarowej zmiennej losowej
![]() |
Przez model rozumie się łączny rozkład zmiennych losowych i
spełniający pewne założenia.
Założenia modelu.
Z1. Liniowość.
Zmienne losowe i
należą do
i spełniają zależność
![]() |
gdzie to deterministyczne choć na ogół nieznane parametry regresji zwane też parametrami strukturalnymi modelu, zaś zmienne losowe
to składniki losowe.
Funkcję
![]() |
nazywa się funkcją regresji. Warunek liniowości można zapisać w postaci macierzowej
![]() |
gdzie macierz o wyrazach
,
,
i
wektory kolumnowe o wyrazach odpowiednio
,
i
.
Założenie Z1 implikuje przynależność do
.
Z2. Ścisła egzogeniczność.
![]() |
Przy założeniach Z1 i Z2 dla wszystkich i
zachodzą
następujące równości:
1. ;
2. ;
3. .
Dowód.
Ponieważ zarówno jak i
należą do
(to wynika z Z1) to możemy stosować twierdzenie o iterowanej wartości oczekiwanej.
Ad1. | ![]() |
![]() |
||
Ad2. | ![]() |
![]() |
||
Ad3. | ![]() |
![]() |
Z3. Liniowa niezależność.
![]() |
Warunek Z3 oznacza, że kolumny macierzy są prawie na pewno liniowo niezależne.
Z4. Sferyczność błędu
![]() |
gdzie deterministyczny parametr modelu.
Warunek Z4 można rozłożyć na dwa warunki:
Z4.1. Homoskedastyczność
![]() |
Z4.2. Brak korelacji, dla
![]() |
Przy założeniach Z1, Z2 i Z4 dla wszystkich ,
zachodzą
następujące równości:
1. ;
2. .
Z5. Gaussowskość.
Łączny rozkład warunkowy względem
jest normalny.
Przy założeniach Z1, Z2, Z4 i Z5:
1. ;
2. .
Dowód.
Punkt 1 wynika z założeń Z2 i Z5.
Punkt 2 wynika z faktu, że parametry warunkowego rozkładu nie zależy od
. Rzeczywiście, niech
będzie dystrybuantą rozkładu
, wówczas
![]() |
Estymatorem MNK wektora jest wektor
![]() |
Natomiast estmatorem MNK wariancji jest
![]() |
gdzie .
Własności estymatorów i
:
a) nieobciążoność . Jeśli zachodzą Z1,Z2 i Z3 to
![]() |
b) skończona wariancja . Jeśli zachodzą Z1,Z2,Z3 i Z4 to
![]() |
c) efektywność (tw. Gaussa-Markowa). Jeśli zachodzą Z1,Z2,Z3 i Z4 to
estymator MNK jest najefektywniejszy w klasie liniowych po , nieobciążonych estymatorów liniowych modeli.
![]() |
d) nieobciążoność . Jeśli zachodzą Z1,Z2,Z3 i Z4 to
![]() |
e) ortogonalność do składnika resztowego
. Jeśli zachodzą Z1,Z2,Z3 i Z4 to
![]() |
Dowód.
Ad.a. Najpierw pokażemy, że warunki Z3 i Z1 implikują przynależność do
. Mamy
![]() |
Zatem wszystkie wyrazy macierzy należą do
.
Ponieważ również
, to
należy do
.
Następnie pokażemy, że .
Mamy dwa równania opisujące zależność od
:
![]() |
![]() |
![]() |
||
![]() |
![]() |
![]() |
Po odjęciu stronami otrzymujemy:
![]() |
(4.1) |
Mnożymy obie strony przez
![]() |
Biorąc pod uwagę, że (patrz wniosek 2.1) otrzymujemy:
![]() |
(4.2) |
Zatem
![]() |
Ad.b. Pokażemy, że dla każdego wektora kolumnowego
.
Skorzystamy z faktu, że wartości oczekiwane nieujemnych zmiennych losowych są zawsze określone.
![]() |
![]() |
![]() |
||
![]() |
![]() |
|||
![]() |
![]() |
|||
![]() |
![]() |
|||
![]() |
![]() |
|||
![]() |
![]() |
Założenie, że (Z3) implikuje skończoność wariancji
dla każdego
, a więc i wariancji
.
![]() |
![]() |
![]() |
||
![]() |
![]() |
Ad.c. Niech będzie dowolnym nieobciążonym i liniowym po
estymatorem dla modeli liniowych z
parametrami strukturalnymi i
obserwacjami. Wówczas istnieje funkcja macierzowa
(
), taka, że
![]() |
Niech .
![]() |
Ponieważ oba estymatory i
są nieobciążone to
![]() |
Czyli dla dowolnego wektora
, a zatem
. W efekcie otrzymujemy:
![]() |
![]() |
Teraz możemy wyznaczyc warunkową wariancje .
![]() |
![]() |
![]() |
||
![]() |
![]() |
|||
![]() |
![]() |
|||
![]() |
![]() |
|||
![]() |
![]() |
Ponieważ a
, to
![]() |
Ad.d. Z równań 4.1 i 4.2 otrzymujemy, że
![]() |
Jak pokazaliśmy w lemacie 2.2 macierz jest symetryczna i idempotentna, zatem
![]() |
(4.3) |
Ponieważ, to suma kwadratów
to jej wartości oczekiwane są zawsze określone. Otrzymujemy na mocy warunku Z3 i lematu 2.2
![]() |
![]() |
![]() |
||
![]() |
![]() |
Ponadto
![]() |
Zatem należy do
.
”Bezwarunkowe” własności estymatora MNK .
a. Warunki Z1,Z2 i Z4 implikują, że .
b. Warunki Z1,Z2,Z3 i Z4 implikują, że .
Dowód.
![]() |
![]() |
Estymacja warunkowej kowariancji estymatora .
1. jest naturalnym nieobciążonym estymatorem
.
2. jest naturalnym nieobciążonym estymatorem
.
Dowód.
Pokażemy, że dla każdego wektora kolumnowego
.
Skorzystamy z faktu, że wartości oczekiwane nieujemnych zmiennych losowych są zawsze określone.
![]() |
Oznaczenie.
![]() |
Związek wariancji estymatora z wielkością próby.
Załóżmy, że poszczególne wiersze macierzy (czyli obserwacje) są niezależne od siebie i o tym samym rozkładzie co pewien horyzontalny wektor losowy
.
Wówczas z prawa wielkich liczb otrzymujemy, że istnieje pewna macierz
taka, że
![]() |
Warunek Z3 implikuje, że macierz jest odwracalna.
Zatem
![]() |
W efekcie
![]() |
Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.
strona główna | webmaster | o portalu | pomoc
© Wydział Matematyki, Informatyki i
Mechaniki UW, 2009-2010. Niniejsze materiały są udostępnione bezpłatnie na licencji Creative Commons Uznanie autorstwa-Użycie niekomercyjne-Bez utworów zależnych 3.0 Polska.
Projekt współfinansowany przez Unię Europejską w ramach
Europejskiego Funduszu Społecznego.
Projekt współfinansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego i przez Uniwersytet Warszawski.