Niech Ztt=-∞+∞ skalarny proces stochastyczny (szereg czasowy), stacjonarny, ergodyczny i klasy L2. Dodatkowo założymy, że zmienne losowe Zt nie są stałe (deterministyczne).

Ze stacjonarności wynika, że kowariancja Zt i Zs zależy tylko od różnicy t-s.

Jak łatwo zauważyć

γ0=D2⁢Zi>0

oraz

γ-j=γj.

Naszym celem jest estymacja współczynników autokowariancji i autokorelacji na podstawie n-elementowej próbki Zt, t=0,…,n-1. Będziemy korzystali z następujących estymatorów:

γj^=1n⁢∑t=jn-1Zt-Z¯⁢Zt-j-Z¯,⁢⁢⁢Z¯=1n⁢∑t=0n-1Zt,

ρj^=γj^γ0^.

Przy pewnych dodatkowych założeniach można pokazać, że estymatory γj^ i ρj^ są asymptotycznie normalne.

Dowód.
Zaczniemy od wyznaczenia pierwszego i drugiego momentu Zt oraz kowariancji Zt i Zt-j dla j>0

E⁢Zt=μ,

D2(Zt)=E((Zt-μ)2)=E(εt2)=E(E(εt2|εt-1,εt-2,…))=E(σ2)=σ2,

cov(Zt,Zt-j)=E((Zt-μ)(Zt-j-μ))=E(εtεt-j)=E(E(εtεt-j|εt-1,εt-2,…))=

=E(εt-jE(εt|εt-1,εt-2,…))=E(0)=0.

Podsumowując

γ0=σ2>0,⁢⁢⁢γj=0⁢ dla ⁢j≠0,

ρ0=1,⁢⁢⁢ρj=0⁢ dla ⁢j≠0,

a zatem

γ^⟶a⁢s0,⁢⁢⁢ρ^⟶a⁢s0.

Następnie zajmiemy się badaniem procesów iloczynów

gj,t=Zt-μ⁢Zt-j-μ=εt⁢εt-j,⁢⁢j=1,2,3,….

E⁢gj,t=0,

E(gj,t|gj,t-1,gj,t-2,…)=E(E(εtεt-j|εt-1,εt-2,…)|gj,t-1,gj,t-2,…)=

=E(εt-jE(εt|εt-1,εt-2,…)|gj,t-1,gj,t-2,…)=0,

zatem wszystkie procesy gj,t są ciągami przyrostów martyngałowych. Wyznaczymy wariancję gj,t i kowariancję gj,t i gk,t dla k>j

E(gj,t2)=E(E(εt2εt-j2|εt-1,εt-2,…))=E(εt-j2E(εt2|εt-1,…))=E(εt-j2σ2)=σ2E(εt-j2)=σ4.

E(gj,tgk,t)=E(E(εt2εt-jεt-k|εt-1,εt-2,…))=E(εt-jεt-kE(εt2|εt-1,εt-2,…))=

=E(εt-jεt-kσ2)=σ2E(εt-jεt-k)=0.

Oznaczmy przez gt wektor o wyrazach gj,t dla j od 1 do p

gt=g1,t,…,gp,t.

Proces gt jest stacjonarnym i ergodycznym ciągiem przyrostów martyngałowych o skończonej sferycznej wariancji

V⁢a⁢r⁢gt=σ4⁢I⁢dp.

Zatem na mocy Centralnego Twierdzenia Granicznego (Tw. 8.6)

n⁢1n⁢∑t=0n-1gt⟶dN⁢0,σ4⁢I⁢dp.

Zauważmy, że

γj^=1n⁢∑t=jn-1gt,

zatem, również

n⁢γ^⟶dN⁢0,σ4⁢I⁢dp.

Natomiast

ρ^=1γ0^⁢γ^.

Ponieważ

γ0^⟶a⁢sσ2,

to

n⁢ρ^=1γ0^⁢n⁢γ^⟶dN⁢0,I⁢dp.

□

W praktycznych zastosowaniach wygodniej jest stosować statystyki 1-wymiarowe. Przykładem są statystyki Q:
∙ Boxa-Pierce'a

Q=n⁢∑j=1pρj^2

∙ i Ljunga-Boxa

Q=n⁢n+2⁢∑j=1pρj^2n-j.

Rozważamy model liniowy z wyrazem wolnym

Yt=Xt⁢β+εt,⁢⁢⁢Xt=Xt,1,…,Xt,K,⁢⁢⁢Xt,K=1,

spełniający warunki Z̃1 – Z̃5. Niech Bn będzie estymatorem MNK wyznaczonym na podstawie próbki n-elementowej, a ξn,t składnikiem resztowym

Yt=Xt⁢Bn+ξn,t,⁢⁢⁢t=0,…,n-1.

Przyjmiemy następujące oznaczenia:
γ∗ i ρa⁢s⁢t współczynniki autokowariancji i autokorelacji składnika losowego ε

γj=E⁢εj⁢ε0,⁢⁢⁢ρj=γjγ0;

γ~∗ i ρ~∗ współczynniki ”próbkowe” autokowariancji i autokorelacji składnika losowego ε

γ~j=1n⁢∑t=jn-1εt⁢εt-j,⁢⁢⁢ρ~j=γ~jγ~0;

γ^∗ i ρ^∗ współczynniki próbkowe autokowariancji i autokorelacji składnika losowego ξ

γ^j=1n⁢∑t=jn-1ξn,t⁢ξn,t-j,⁢⁢⁢ρ^j=γ^jγ^0.

Proces ε jest stacjonarny i ergodyczny zatem dla każdego j

γ~j⟶a⁢sγj,⁢⁢⁢ρ~j⟶a⁢sρj.

Niestety, składnik εt jest nieobserwowalny. Znamy tylko składnik resztowy ξn,t, zatem jako ewentualne estymatory można rozważać γ^j i ρ^j.

Pytanie?
Czy można zastąpić w statystyce Q współczynniki ”próbkowe” autokorelacji składnika losowego ε, przez współczynniki ”próbkowe” autokorelacji składnika resztowego ξ, nie psując własności tej statystyki?

Okazuje się, że przy dodatkowych założeniach odpowiedź jest pozytywna.

Dowód.
Skorzystamy z zależności

ξn,t=εt-Xt⁢Bn-β.

γ^j-γ~j=1n⁢∑t=jn-1ξn,t⁢ξn,t-j-1n⁢∑t=jn-1εt⁢εt-j=

=1n∑t=jn-1((εt-Xt(Bn-β))(εt-j-Xt-j(Bn-β))-εtεt-j)=

=-1n⁢∑t=jn-1εt⁢Xt-j+1n⁢∑t=jn-1εt-j⁢Xt⁢Bn-β+Bn-βT⁢1n⁢∑t=jn-1XtT⁢Xt-j⁢Bn-β

⟶a⁢s-(E(εjX0)+E(ε0Xj))⋅0+0⋅E(XjTX0)⋅0=0.

Natomiast dla ρ mamy

ρ^j-ρ~j=γ^jγ^0-γ~jγ~0=γ^j⁢γ~0-γ^0⁢γ~jγ^0⁢γ~0=

=γ^j-γ~j⁢γ~0+γ~j⁢γ~0-γ^0γ^0⁢γ~0⟶a⁢s0γ02=0.

□

Dowód.
Zauważmy, że ze ścisłej egzogeniczności wynika, że

E⁢εj⁢X0=E⁢ε0⁢Xj=0.

Niech Z będzie pewną zmienną losową o rozkładzie N⁢0,A⁢v⁢a⁢r⁢B. Wówczas

n⁢γ^j-γ~j=

=-1n⁢∑t=jn-1εt⁢Xt-j+1n⁢∑t=jn-1εt-j⁢Xt⁢n⁢Bn-β+1n⁢n⁢Bn-βT⁢1n⁢∑t=jn-1XtT⁢Xt-j⁢n⁢Bn-β

⟶d-(E(εjX0)+E(ε0Xj))Z+0⋅ZTE(XjX0)Z=0.

Zbieżność do zera według rozkładu implikuje zbieżność do 0 według prawdopodobieństwa, zatem

n⁢γ^j-γ~j⟶p0.

Dowód zbieżności dla ρ przebiega analogicznie jak w poprzednim lemacie.

□