Zagadnienia

3. MNK w terminach statystyki opisowej

Metoda MNK dla modeli z wyrazem wolnym. Współczynnik determinacji. Przypadek k=2. (1 wykład)

3.1. Notacja statystyki opisowej

Będziemy stosowali następującą notację:
Dla pojedynczej serii danych X=Xtt=1n:
średnia

X¯=1nt=1nXt,

wariancja empiryczna (wariancja z próby)

S2X=1nt=1nXt-X¯2,

empiryczne odchylenie standardowe (odchylenie standardowe z próby)

SX=S2X.

Dla dwóch serii danych Y=Ytt=1n i X=Xtt=1n:
kowariancja empiryczna (kowariancja z próby)

CovX,Y=1nt=1nXt-X¯Yt-Y¯.
Uwaga 3.1

Zachodzą następujące związki

CovX,Y=CovY,X,CovX,X=S2X,
CovX,Y=XY¯-X¯Y¯,S2X=X2¯-X¯2.

współczynnik korelacji Pearsona (korelacja empiryczna)

rX,Y=CovX,YSxSY gdy SX0SY.
Uwaga 3.2

Zachodzą następujące związki

rX,Y0,1,rX,X=1,rX,-X=-1.

Dla m serii danych Xi=Xt,it=1n, i=1,,m:
macierz kowariancji serii Xi:

CX=VarX=1nX-eX¯TX-eX¯

gdzie X jest n×m macierzą o współczynnikach Xt,i, a X¯ wektorem horyzontalnym o m wyrazach (tzn. macierzą 1×m) a e wektorem kolumnowym o n wyrazach (tzn. macierzą n×1)

X¯=X1¯,,Xm¯,e=1,,1T.
Uwaga 3.3

Macierz C jest symetryczna i nieujemnie określona. Ponadto

CXi,j=CovXi,Xj,CXi,i=S2Xi,
CX=1nXTX-X¯TX¯.

Dla m+1 serii danych Xi=Xt,it=1n, i=1,,m i Y=Ytt=1n:
macierz kowariancji serii Y i serii Xi, i=1,,m:

CovX,Y=1nX-eX¯TY-eY¯.
Uwaga 3.4

Zachodzą następujące związki

CovX,Yj=CovXj,Y,CovX,Y=1nXTY-X¯TY¯.

3.2. MNK z wyrazem wolnym

Rozważmy przypadek gdy jeden z ciągów Xi, i=1,,m jest stały. Dla uproszczenia przyjmijmy Xm=e (tzn. tXt,m=1). Wówczas dla wszystkich t1,,n

Y^t=b1Xt,1++bm-1Xt,m-1+d,

gdzie d nazywamy wyrazem wolnym. W zapisie macierzowym wygląda to następująco

Y^=XB+de,

gdzie X jest n×m-1 macierzą o kolumnach X1,,Xm-1 a B=b1,,bm-1T. Zatem suma kwadratów reszt wyniesie

SKRb1,,bm-1,d=Y-XB-deTY-XB-de.
Twierdzenie 3.1

Jeżeli ciągi X1,,Xm-1,Xm=e są liniowo niezależne to SKR przyjmuje minimum w punkcie

Bmin=CX-1CovX,Y,dmin=Y¯-X¯Bmin.

Ponadto

SKRmin=nS2Y-CovX,YTCX-1CovX,Y.

Dowód.
Krok 1. Pokażemy, że macierz CX jest dodatnio określona a zatem odwracalna.
Rozważmy dowolny niezerowy wektor B. Wektor Z=XB nie jest stały, zatem

0<S2Z=BATCB.

Krok 2. Korzystając ze wzoru na Bmin wyprowadzonego w twierdzeniu 2.1 wyznaczymy Bmin i dmin.
Bmin spełnia zależność

XTXBmin=XTY.

Korzystając z faktu, że X=X,e (tzn. macierz X powstaje z X przez dopisanie kolumny jedynek) a BminT=BminAT,dmin, zapiszemy ją w terminach X, Bmin i dmin

XATXnX¯TnX¯nBmindmin=XATYnY¯.

Dzielimy obie strony przez n

1nXATXBmin+X¯Tdmin=1nXATY,
X¯Bmin+dmin=Y¯.

Z drugiego równania otrzymujemy formułę na dmin, a następnie eliminujemy dmin z pierwszego równania. Po uporządkowaniu składników otrzymujemy

1nXATX-X¯TX¯B=1nXATY-X¯TY¯.

Co możemy zapisać w postaci (patrz uwagi 3.3 i 3.4)

CXBmin=CovX,Y.

Krok 3. Wyznaczamy SKRmin.

SKRmin=SKRBmin,dmin=t=1nYt-i=1m-1bmin,iXt,i-dmin2

Po podstawieniu dmin=Y¯-X¯Bmin otrzymujemy

SKRmin=t=1nYt-Y¯-i=1m-1bmin,iXt,i-Xi¯2=
=n(S2(Y)-2i=1m-1bmin,iCov(Xi,Y)+S2(i=1m-1bmin,iXi))=
=n(S2(Y)-2Cov(X,Y)TBmin+BATminC(X)Bmin)=n(S2(Y)-
-2Cov(X,Y)TC(X)-1Cov(X,Y)+Cov(X,Y)TC(X)-1C(X)C(X)-1Cov(X,Y))=
=nS2Y-CovX,YTCX-1CovX,Y.
Uwaga 3.5

Dla B=Bmin i d=dmin zachodzą następujące związki:

1.ξ¯=0,Y^¯=Y¯
2.t=1nYt-Y¯2=t=1nY^t-Y¯2+t=1nYt-Y^t2.

Dowód.
Ad.1. Mamy

Yt=i=1m-1biXt,i+d+ξt.

Zatem

Y¯=i=1m-1biXi¯+d+ξ¯,

czyli

Y¯-Y^¯=ξ¯=Y¯-i=1m-1biXi¯-d=0.

Ad.2. Z punktu 1 i z wniosku 2.1 wynika:

t=1nYt-Y¯2-t=1nY^t-Y¯2-t=1nYt-Y^t2=
=t=1n(Yt2-Y¯2)-t=1n(Y^t2-Y¯2)-t=1n(Yt-Y^t)2=
=t=1nYt2-t=1nY^t2-t=1n(Yt-Y^t)2=0.
Definicja 3.1

Współczynnik determinacji zwany też współczynnikiem dopasowania i współczynnikiem regresji wielorakiej to

R2=1-t=1nξt2t=1nYt-Y¯2.
Uwaga 3.6
R2=t=1nY^t-Y¯2t=1nYt-Y¯2=CovX,YTCX-1CovX,YS2Y.
Definicja 3.2

Średni błąd kwadratowy

MSE=1nt=1nξt2=ξ2¯.
Uwaga 3.7
MSE=S2Y1-R2.

Podsumowanie.
R2 i MSE określają dokładność aproksymacji przy zastosowaniu metody najmniejszych kwadratów (MNK).

3.3. Przypadek m=2 i X2=e

Y^t=bXt+d,
SKR=t=1nYt-bXt-d2.
Twierdzenie 3.2

Jeżeli ciąg Xt nie jest stały to SKR przyjmuje minimum w punkcie

bmin=CovX,YS2X,dmin=Y¯-bminX¯.
SKRmin=nS2(Y)(1-r2(X,Y).

Dowód.

SKRmin=nS2Y-cov2X,YS2X=nS2Y-S2XS2Yr2X,YS2X=nS2Y1-r2X,Y.

Zamieniamy rolami Y i X.

X^t=fYt+g,SKR=t=1nXt-fYt-g2.

Otrzymujemy

fmin=covX,YS2Y,gmin=X¯-fminY¯.

Okazuje się, że proste Y=bminX+dmin i X=fminY+gmin na ogół nie pokrywają się. Przecinają się one w punkcie X¯,Y¯ i iloczyn współczynników kierunkowych wynosi r2X,Y

bminfmin=covX,YS2XcovX,YS2Y=r2X,Y.

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego.

Projekt współfinansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego i przez Uniwersytet Warszawski.