Zagadnienia

11.1 Autokorelacja składnika losowego
11.2 Autokorelacja składnika resztowego

11. Testowanie autokorelacji składnika losowego i składnika resztowego

Rozkład współczynników autokowariancji i autokorelacji empirycznych. Statystyki $Q$ Ljunga-Boxa i Boxa-Pierce'a. (1 wykład)

11.1. Autokorelacja składnika losowego

Niech $\{ Z_{t}\} _{{t=-\infty}}^{{+\infty}}$ skalarny proces stochastyczny (szereg czasowy), stacjonarny, ergodyczny i klasy $L^{2}$ . Dodatkowo założymy, że zmienne losowe $Z_{t}$ nie są stałe (deterministyczne).

Ze stacjonarności wynika, że kowariancja $Z_{t}$ i $Z_{s}$ zależy tylko od różnicy $t-s$ .

Definicja 11.1

$j$ -tym współczynnikiem autokowariancji nazywamy kowariancję zmiennych losowych $Z_{\ast}$ odległych o $j$

$\gamma _{j}=cov(Z_{i},Z_{{i-j}}).$

Jak łatwo zauważyć

$\gamma _{0}=D^{2}(Z_{i})>0$

oraz

$\gamma _{{-j}}=\gamma _{j}.$

Definicja 11.2

$j$ -tym współczynnikiem autokorelacji nazywamy współczynnik korelacji zmiennych losowych $Z_{\ast}$ odległych o $j$

$\rho _{j}=\frac{\gamma _{j}}{\gamma _{0}}.$

Naszym celem jest estymacja współczynników autokowariancji i autokorelacji na podstawie $n$ -elementowej próbki $Z_{t}$ , $t=0,\dots,n-1$ . Będziemy korzystali z następujących estymatorów:

$\widehat{\gamma _{j}}=\frac{1}{n}\sum _{{t=j}}^{{n-1}}(Z_{t}-\bar{Z})(Z_{{t-j}}-\bar{Z}),\;\;\;\bar{Z}=\frac{1}{n}\sum _{{t=0}}^{{n-1}}Z_{t},$

$\widehat{\rho _{j}}=\frac{\widehat{\gamma _{j}}}{\widehat{\gamma _{0}}}.$

Uwaga 11.1

Z ergodyczności procesu $Z_{t}$ wynika, że estymatory $\widehat{\gamma _{j}}$ i $\widehat{\rho _{j}}$ są zgodne

$\widehat{\gamma _{j}}\stackrel{as}{\longrightarrow}\gamma _{j},\;\;\;\widehat{\rho _{j}}\stackrel{as}{\longrightarrow}\rho _{j}.$

Przy pewnych dodatkowych założeniach można pokazać, że estymatory $\widehat{\gamma _{j}}$ i $\widehat{\rho _{j}}$ są asymptotycznie normalne.

Twierdzenie 11.1

Niech

$Z_{t}=\mu+\varepsilon _{t},$

gdzie $\mu$ jest pewną stałą, a stacjonarny i ergodyczny proces $\{\varepsilon _{t}\}$ jest ciągiem przyrostów martyngałowych takim, że

$E(\varepsilon^{2}_{t}|\varepsilon _{{t-1}},\varepsilon _{{t-2}},\dots)=\sigma^{2}>0.$

Wówczas dla każdego $p\in\mathbb{N}\setminus\{ 0\}$

$\sqrt{n}\,\widehat{\gamma}\stackrel{d}{\longrightarrow}N(0,\sigma^{4}Id_{p}),$

$\sqrt{n}\,\widehat{\rho}\stackrel{d}{\longrightarrow}N(0,Id_{p}),$

gdzie

$\widehat{\gamma}=(\widehat{\gamma _{1}},\dots,\widehat{\gamma _{p}}),\;\;\;\widehat{\rho}=(\widehat{\rho _{1}},\dots,\widehat{\rho _{p}}).$

Dowód.
Zaczniemy od wyznaczenia pierwszego i drugiego momentu $Z_{t}$ oraz kowariancji $Z_{t}$ i $Z_{{t-j}}$ dla $j>0$

$E(Z_{t})=\mu,$

$D^{2}(Z_{t})=E((Z_{t}-\mu)^{2})=E(\varepsilon _{t}^{2})=E(E(\varepsilon _{t}^{2}|\varepsilon _{{t-1}},\varepsilon _{{t-2}},\dots))=E(\sigma^{2})=\sigma^{2},$

$cov(Z_{t},Z_{{t-j}})=E((Z_{t}-\mu)(Z_{{t-j}}-\mu))=E(\varepsilon _{t}\varepsilon _{{t-j}})=E(E(\varepsilon _{t}\varepsilon _{{t-j}}|\varepsilon _{{t-1}},\varepsilon _{{t-2}},\dots))=$

$=E(\varepsilon _{{t-j}}E(\varepsilon _{t}|\varepsilon _{{t-1}},\varepsilon _{{t-2}},\dots))=E(0)=0.$

Podsumowując

$\gamma _{0}=\sigma^{2}>0,\;\;\;\gamma _{j}=0\mbox{ dla }j\neq 0,$

$\rho _{0}=1,\;\;\;\rho _{j}=0\mbox{ dla }j\neq 0,$

a zatem

$\widehat{\gamma}\stackrel{as}{\longrightarrow}0,\;\;\;\widehat{\rho}\stackrel{as}{\longrightarrow}0.$

Następnie zajmiemy się badaniem procesów iloczynów

$g_{{j,t}}=(Z_{t}-\mu)(Z_{{t-j}}-\mu)=\varepsilon _{t}\varepsilon _{{t-j}},\;\; j=1,2,3,\dots.$

$E(g_{{j,t}})=0,$

$E(g_{{j,t}}|g_{{j,t-1}},g_{{j,t-2}},\dots)=E(E(\varepsilon _{t}\varepsilon _{{t-j}}|\varepsilon _{{t-1}},\varepsilon _{{t-2}},\dots)|g_{{j,t-1}},g_{{j,t-2}},\dots)=$

$=E(\varepsilon _{{t-j}}E(\varepsilon _{t}|\varepsilon _{{t-1}},\varepsilon _{{t-2}},\dots)|g_{{j,t-1}},g_{{j,t-2}},\dots)=0,$

zatem wszystkie procesy $\{ g_{{j,t}}\}$ są ciągami przyrostów martyngałowych. Wyznaczymy wariancję $g_{{j,t}}$ i kowariancję $g_{{j,t}}$ i $g_{{k,t}}$ dla $k>j$

$E(g_{{j,t}}^{2})=E(E(\varepsilon _{t}^{2}\varepsilon _{{t-j}}^{2}|\varepsilon _{{t-1}},\varepsilon _{{t-2}},\dots))=E(\varepsilon _{{t-j}}^{2}E(\varepsilon _{t}^{2}|\varepsilon _{{t-1}},\dots))=E(\varepsilon _{{t-j}}^{2}\sigma^{2})=\sigma^{2}E(\varepsilon _{{t-j}}^{2})=\sigma^{4}.$

$E(g_{{j,t}}g_{{k,t}})=E(E(\varepsilon _{t}^{2}\varepsilon _{{t-j}}\varepsilon _{{t-k}}|\varepsilon _{{t-1}},\varepsilon _{{t-2}},\dots))=E(\varepsilon _{{t-j}}\varepsilon _{{t-k}}E(\varepsilon _{t}^{2}|\varepsilon _{{t-1}},\varepsilon _{{t-2}},\dots))=$

$=E(\varepsilon _{{t-j}}\varepsilon _{{t-k}}\sigma^{2})=\sigma^{2}E(\varepsilon _{{t-j}}\varepsilon _{{t-k}})=0.$

Oznaczmy przez $g_{t}$ wektor o wyrazach $g_{{j,t}}$ dla $j$ od 1 do $p$

$g_{t}=(g_{{1,t}},\dots,g_{{p,t}}).$

Proces $\{ g_{t}\}$ jest stacjonarnym i ergodycznym ciągiem przyrostów martyngałowych o skończonej sferycznej wariancji

$Var(g_{t})=\sigma^{4}Id_{p}.$

Zatem na mocy Centralnego Twierdzenia Granicznego (Tw. 8.6)

$\sqrt{n}\frac{1}{n}\sum _{{t=0}}^{{n-1}}g_{t}\stackrel{d}{\longrightarrow}N(0,\sigma^{4}Id_{p}).$

Zauważmy, że

$\widehat{\gamma _{j}}=\frac{1}{n}\sum _{{t=j}}^{{n-1}}g_{t},$

zatem, również

$\sqrt{n}\widehat{\gamma}\stackrel{d}{\longrightarrow}N(0,\sigma^{4}Id_{p}).$

Natomiast

$\widehat{\rho}=\frac{1}{\widehat{\gamma _{0}}}\widehat{\gamma}.$

Ponieważ

$\widehat{\gamma _{0}}\stackrel{as}{\longrightarrow}\sigma^{2},$

$\sqrt{n}\widehat{\rho}=\frac{1}{\widehat{\gamma _{0}}}\sqrt{n}\widehat{\gamma}\stackrel{d}{\longrightarrow}N(0,Id_{p}).$

$\Box$

W praktycznych zastosowaniach wygodniej jest stosować statystyki 1-wymiarowe. Przykładem są statystyki $Q$ :
$\bullet$ Boxa-Pierce'a

$Q=n\sum _{{j=1}}^{p}\widehat{\rho _{j}}^{2}$

$\bullet$ i Ljunga-Boxa

$Q=n(n+2)\sum _{{j=1}}^{p}\frac{\widehat{\rho _{j}}^{2}}{n-j}.$

Wniosek 11.1

Przy założeniach twierdzenia 11.1

	$\displaystyle 1.$		$\displaystyle\sqrt{n}\widehat{\rho _{j}}\stackrel{d}{\longrightarrow}N(0,1),\;\;\; j=1,2,\dots,$
	$\displaystyle 2.$		$\displaystyle Q=n\sum _{{j=1}}^{p}\widehat{\rho _{j}}^{2}=\sum _{{j=1}}^{p}(\sqrt{n}\widehat{\rho _{j}})^{2}\stackrel{d}{\longrightarrow}\chi^{2}(p),$
	$\displaystyle 3.$		$\displaystyle Q=n(n+2)\sum _{{j=1}}^{p}\frac{\widehat{\rho _{j}}^{2}}{n-j}=\sum _{{j=1}}^{p}\frac{n+2}{n-j}(\sqrt{n}\widehat{\rho _{j}})^{2}\stackrel{d}{\longrightarrow}\chi^{2}(p).$

11.2. Autokorelacja składnika resztowego

Rozważamy model liniowy z wyrazem wolnym

$Y_{t}=X_{t}\beta+\varepsilon _{t},\;\;\; X_{t}=(X_{{t,1}},\dots,X_{{t,K}}),\;\;\; X_{{t,K}}=1,$

spełniający warunki Z̃1 – Z̃5. Niech $B_{n}$ będzie estymatorem MNK wyznaczonym na podstawie próbki $n$ -elementowej, a $\xi _{{n,t}}$ składnikiem resztowym

$Y_{t}=X_{t}B_{n}+\xi _{{n,t}},\;\;\; t=0,\dots,n-1.$

Przyjmiemy następujące oznaczenia:
$\gamma _{\ast}$ i $\rho _{a}st$ współczynniki autokowariancji i autokorelacji składnika losowego $\varepsilon$

$\gamma _{j}=E(\varepsilon _{j}\varepsilon _{0}),\;\;\;\rho _{j}=\frac{\gamma _{j}}{\gamma _{0}};$

$\tilde{\gamma}_{\ast}$ i $\tilde{\rho}_{\ast}$ współczynniki ”próbkowe” autokowariancji i autokorelacji składnika losowego $\varepsilon$

$\tilde{\gamma}_{j}=\frac{1}{n}\sum _{{t=j}}^{{n-1}}\varepsilon _{t}\varepsilon _{{t-j}},\;\;\;\tilde{\rho}_{j}=\frac{\tilde{\gamma}_{j}}{\tilde{\gamma}_{0}};$

$\widehat{\gamma}_{\ast}$ i $\widehat{\rho}_{\ast}$ współczynniki próbkowe autokowariancji i autokorelacji składnika losowego $\xi$

$\widehat{\gamma}_{j}=\frac{1}{n}\sum _{{t=j}}^{{n-1}}\xi _{{n,t}}\xi _{{n,t-j}},\;\;\;\widehat{\rho}_{j}=\frac{\widehat{\gamma}_{j}}{\widehat{\gamma}_{0}}.$

Proces $\varepsilon$ jest stacjonarny i ergodyczny zatem dla każdego $j$

$\tilde{\gamma}_{j}\stackrel{as}{\longrightarrow}\gamma _{j},\;\;\;\tilde{\rho}_{j}\stackrel{as}{\longrightarrow}\rho _{j}.$

Niestety, składnik $\{\varepsilon _{t}\}$ jest nieobserwowalny. Znamy tylko składnik resztowy $\{\xi _{{n,t}}\}$ , zatem jako ewentualne estymatory można rozważać $\widehat{\gamma}_{j}$ i $\widehat{\rho}_{j}$ .

Pytanie?
Czy można zastąpić w statystyce $Q$ współczynniki ”próbkowe” autokorelacji składnika losowego $\varepsilon$ , przez współczynniki ”próbkowe” autokorelacji składnika resztowego $\xi$ , nie psując własności tej statystyki?

Okazuje się, że przy dodatkowych założeniach odpowiedź jest pozytywna.

Lemat 11.1

$\forall j\;\;\;\widehat{\gamma}_{j}-\tilde{\gamma}_{j}\stackrel{as}{\longrightarrow}0\;\;\;\mbox{ i }\;\;\;\widehat{\rho}_{j}-\tilde{\rho}_{j}\stackrel{as}{\longrightarrow}0.$

Dowód.
Skorzystamy z zależności

$\xi _{{n,t}}=\varepsilon _{t}-X_{t}(B_{n}-\beta).$

$\widehat{\gamma}_{j}-\tilde{\gamma}_{j}=\frac{1}{n}\sum _{{t=j}}^{{n-1}}\xi _{{n,t}}\xi _{{n,t-j}}-\frac{1}{n}\sum _{{t=j}}^{{n-1}}\varepsilon _{t}\varepsilon _{{t-j}}=$

$=\frac{1}{n}\sum _{{t=j}}^{{n-1}}\left((\varepsilon _{t}-X_{t}(B_{n}-\beta))(\varepsilon _{{t-j}}-X_{{t-j}}(B_{n}-\beta))-\varepsilon _{t}\varepsilon _{{t-j}}\right)=$

$=-\left(\frac{1}{n}\sum _{{t=j}}^{{n-1}}\varepsilon _{t}X_{{t-j}}+\frac{1}{n}\sum _{{t=j}}^{{n-1}}\varepsilon _{{t-j}}X_{t}\right)(B_{n}-\beta)+(B_{n}-\beta)^{T}\left(\frac{1}{n}\sum _{{t=j}}^{{n-1}}X_{t}^{T}X_{{t-j}}\right)(B_{n}-\beta)$

$\stackrel{as}{\longrightarrow}-\left(E(\varepsilon _{j}X_{0})+E(\varepsilon _{0}X_{j})\right)\cdot 0+0\cdot E(X_{j}^{T}X_{0})\cdot 0=0.$

Natomiast dla $\rho$ mamy

$\widehat{\rho}_{j}-\tilde{\rho}_{j}=\frac{\widehat{\gamma}_{j}}{\widehat{\gamma}_{0}}-\frac{\tilde{\gamma}_{j}}{\tilde{\gamma}_{0}}=\frac{\widehat{\gamma}_{j}\tilde{\gamma}_{0}-\widehat{\gamma}_{0}\tilde{\gamma}_{j}}{\widehat{\gamma}_{0}\tilde{\gamma}_{0}}=$

$=\frac{(\widehat{\gamma}_{j}-\tilde{\gamma}_{j})\tilde{\gamma}_{0}+\tilde{\gamma}_{j}(\tilde{\gamma}_{0}-\widehat{\gamma}_{0})}{\widehat{\gamma}_{0}\tilde{\gamma}_{0}}\stackrel{as}{\longrightarrow}\frac{0}{\gamma _{0}^{2}}=0.$

$\Box$

Lemat 11.2

Jeśli dodatkowo spełniony jest warunek ścisłej egzogeniczności (Z2)

$\forall t\;\;\;\; E(\varepsilon _{t}|X)=0,$

$\forall j\;\;\;\sqrt{n}\left(\widehat{\gamma}_{j}-\tilde{\gamma}_{j}\right)\stackrel{p}{\longrightarrow}0\;\;\;\mbox{ i }\;\;\;\sqrt{n}\left(\widehat{\rho}_{j}-\tilde{\rho}_{j}\right)\stackrel{p}{\longrightarrow}0.$

Dowód.
Zauważmy, że ze ścisłej egzogeniczności wynika, że

$E(\varepsilon _{j}X_{0})=E(\varepsilon _{0}X_{j})=0.$

Niech $Z$ będzie pewną zmienną losową o rozkładzie $N(0,Avar(B))$ . Wówczas

$\sqrt{n}\left(\widehat{\gamma}_{j}-\tilde{\gamma}_{j}\right)=$

$=-\left(\frac{1}{n}\sum _{{t=j}}^{{n-1}}\varepsilon _{t}X_{{t-j}}+\frac{1}{n}\sum _{{t=j}}^{{n-1}}\varepsilon _{{t-j}}X_{t}\right)\sqrt{n}(B_{n}-\beta)+\frac{1}{\sqrt{n}}(\sqrt{n}(B_{n}-\beta))^{T}\left(\frac{1}{n}\sum _{{t=j}}^{{n-1}}X_{t}^{T}X_{{t-j}}\right)(\sqrt{n}(B_{n}-\beta))$

$\stackrel{d}{\longrightarrow}-(E(\varepsilon _{j}X_{0})+E(\varepsilon _{0}X_{j}))Z+0\cdot Z^{T}E(X_{j}X_{0})Z=0.$

Zbieżność do zera według rozkładu implikuje zbieżność do 0 według prawdopodobieństwa, zatem

$\sqrt{n}\left(\widehat{\gamma}_{j}-\tilde{\gamma}_{j}\right)\stackrel{p}{\longrightarrow}0.$

Dowód zbieżności dla $\rho$ przebiega analogicznie jak w poprzednim lemacie.

$\Box$

Wniosek 11.2

Przy założeniach lematu 11.2 statystyka $Q$ policzona dla $\xi$ jest asymptotycznie równoważna statystyce $Q$ policzonej dla $\varepsilon$ , zatem obie zbiegają według rozkładu do $\chi^{2}(p)$ .

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Ekonometria

Zagadnienia

11. Testowanie autokorelacji składnika losowego i składnika resztowego

11.1. Autokorelacja składnika losowego

Definicja 11.1

Definicja 11.2

Uwaga 11.1

Twierdzenie 11.1

Wniosek 11.1

11.2. Autokorelacja składnika resztowego

Lemat 11.1

Lemat 11.2

Wniosek 11.2