3.1. Notacja statystyki opisowej
Będziemy stosowali następującą notację:
Dla pojedynczej serii danych X=Xtt=1n:
∙ średnia
∙ wariancja empiryczna (wariancja z próby)
∙ empiryczne odchylenie standardowe (odchylenie standardowe z próby)
Dla dwóch serii danych Y=Ytt=1n i X=Xtt=1n:
∙ kowariancja empiryczna (kowariancja z próby)
|
CovX,Y=1n∑t=1nXt-X¯Yt-Y¯. |
|
Uwaga 3.1
Zachodzą następujące związki
|
CovX,Y=CovY,X,CovX,X=S2X, |
|
|
CovX,Y=XY¯-X¯Y¯,S2X=X2¯-X¯2. |
|
∙ współczynnik korelacji Pearsona (korelacja empiryczna)
|
rX,Y=CovX,YSxSY gdy SX≠0≠SY. |
|
Uwaga 3.2
Zachodzą następujące związki
|
rX,Y∈0,1,rX,X=1,rX,-X=-1. |
|
Dla m serii danych Xi=Xt,it=1n, i=1,…,m:
∙ macierz kowariancji serii Xi:
|
CX=VarX=1nX-eX¯TX-eX¯ |
|
gdzie X jest n×m macierzą o współczynnikach Xt,i,
a X¯ wektorem horyzontalnym o m wyrazach (tzn. macierzą 1×m)
a e wektorem kolumnowym o n wyrazach (tzn. macierzą n×1)
|
X¯=X1¯,…,Xm¯,e=1,…,1T. |
|
Uwaga 3.3
Macierz C jest symetryczna i nieujemnie określona. Ponadto
|
CXi,j=CovXi,Xj,CXi,i=S2Xi, |
|
Dla m+1 serii danych Xi=Xt,it=1n, i=1,…,m i Y=Ytt=1n:
∙ macierz kowariancji serii Y i serii Xi, i=1,…,m:
|
CovX,Y=1nX-eX¯TY-eY¯. |
|
Uwaga 3.4
Zachodzą następujące związki
|
CovX,Yj=CovXj,Y,CovX,Y=1nXTY-X¯TY¯. |
|
3.2. MNK z wyrazem wolnym
Rozważmy przypadek gdy jeden z ciągów Xi, i=1,…,m jest stały.
Dla uproszczenia przyjmijmy Xm=e (tzn. ∀tXt,m=1).
Wówczas dla wszystkich t∈1,…,n
|
Y^t=b1Xt,1+…+bm-1Xt,m-1+d, |
|
gdzie d nazywamy wyrazem wolnym. W zapisie macierzowym wygląda to następująco
gdzie X′ jest n×m-1 macierzą o kolumnach X1,…,Xm-1 a B′=b1,…,bm-1T.
Zatem suma kwadratów reszt wyniesie
|
SKRb1,…,bm-1,d=Y-X′B′-deTY-X′B′-de. |
|
Twierdzenie 3.1
Jeżeli ciągi X1,…,Xm-1,Xm=e są liniowo niezależne to SKR przyjmuje minimum w punkcie
|
Bmin′=CX′-1CovX′,Y,dmin=Y¯-X′¯Bmin′. |
|
Ponadto
|
SKRmin=nS2Y-CovX′,YTCX′-1CovX′,Y. |
|
Dowód.
Krok 1. Pokażemy, że macierz CX′ jest dodatnio określona a zatem odwracalna.
Rozważmy dowolny niezerowy wektor B′. Wektor Z=X′B′ nie jest stały, zatem
Krok 2.
Korzystając ze wzoru na Bmin wyprowadzonego w twierdzeniu 2.1 wyznaczymy Bmin′ i dmin.
Bmin spełnia zależność
Korzystając z faktu, że X=X′,e (tzn. macierz X powstaje z X′ przez dopisanie kolumny jedynek)
a BminT=Bmin′AT,dmin,
zapiszemy ją w terminach X′, Bmin′ i dmin
|
X′ATX′nX′¯TnX′¯n∘Bmin′dmin=X′ATYnY¯. |
|
Dzielimy obie strony przez n
|
1nX′ATX′Bmin′+X′¯Tdmin | = | 1nX′ATY, |
|
|
X′¯Bmin′+dmin=Y¯. | | |
|
Z drugiego równania otrzymujemy formułę na dmin, a następnie eliminujemy dmin z pierwszego równania.
Po uporządkowaniu składników otrzymujemy
|
1nX′ATX′-X′¯TX′¯B′=1nX′ATY-X′¯TY¯. |
|
Co możemy zapisać w postaci (patrz uwagi 3.3 i 3.4)
Krok 3.
Wyznaczamy SKRmin.
|
SKRmin=SKRBmin′,dmin=∑t=1nYt-∑i=1m-1bmin,iXt,i-dmin2 |
|
Po podstawieniu dmin=Y¯-X′¯Bmin′ otrzymujemy
|
SKRmin=∑t=1nYt-Y¯-∑i=1m-1bmin,iXt,i-Xi¯2= |
|
|
=n(S2(Y)-2∑i=1m-1bmin,iCov(Xi,Y)+S2(∑i=1m-1bmin,iXi))= |
|
|
=n(S2(Y)-2Cov(X′,Y)TB′min+B′ATminC(X′)B′min)=n(S2(Y)- |
|
|
-2Cov(X′,Y)TC(X′)-1Cov(X′,Y)+Cov(X′,Y)TC(X′)-1C(X′)C(X′)-1Cov(X′,Y))= |
|
|
=nS2Y-CovX′,YTCX′-1CovX′,Y. |
|
□
Uwaga 3.5
Dla B′=Bmin′ i d=dmin zachodzą następujące związki:
|
1. | | ξ¯=0,Y^¯=Y¯ |
|
|
2. | | ∑t=1nYt-Y¯2=∑t=1nY^t-Y¯2+∑t=1nYt-Y^t2. |
|
Dowód.
Ad.1. Mamy
Zatem
czyli
|
Y¯-Y^¯=ξ¯=Y¯-∑i=1m-1biXi¯-d=0. |
|
Ad.2. Z punktu 1 i z wniosku 2.1 wynika:
|
∑t=1nYt-Y¯2-∑t=1nY^t-Y¯2-∑t=1nYt-Y^t2= |
|
|
=∑t=1n(Yt2-Y¯2)-∑t=1n(Y^t2-Y¯2)-∑t=1n(Yt-Y^t)2= |
|
|
=∑t=1nYt2-∑t=1nY^t2-∑t=1n(Yt-Y^t)2=0. |
|
□
Definicja 3.1
Współczynnik determinacji zwany też współczynnikiem dopasowania i współczynnikiem regresji wielorakiej to
|
R2=1-∑t=1nξt2∑t=1nYt-Y¯2. |
|
Uwaga 3.6
|
R2=∑t=1nY^t-Y¯2∑t=1nYt-Y¯2=CovX′,YTCX′-1CovX′,YS2Y. |
|
Definicja 3.2
Średni błąd kwadratowy
Podsumowanie.
R2 i MSE określają dokładność aproksymacji przy zastosowaniu metody najmniejszych kwadratów (MNK).
Niniejsze materiały są udostępnione bezpłatnie na licencji Creative Commons Uznanie autorstwa-Użycie niekomercyjne-Bez utworów zależnych 3.0 Polska.
