Zagadnienia

14. Liniowe szeregi czasowe

Stacjonarność rzędu 2. Funkcje tworzące. Klasyczne modele liniowe MA, AR, ARMA i ARIMA. Ułamkowe ruchy Browna. (1 wykład)

14.1. Szeregi czasowe stacjonarne rzędu 2

Na początek ustalmy przestrzeń probabilistyczną

Ω,F,P.

Przez L2Ω będziemy oznaczać zbiór zmiennych losowych X takich, że EX2<. Jak łatwo zauważyć jest to przestrzeń liniowa nad R. Ponadto, gdy utożsamimy zmienne losowe, które są prawie wszędzie równe to funkcja

XL2=EX2

jest normą, a L2Ω/ jest przestrzenią Banacha (por. [9] dodatek C.5 lub [3] §2.10).

Dla ustalenia uwagi przyjmiemy następującą definicję szeregu czasowego.

Definicja 14.1

Szeregiem czasowym nazywamy ciąg zmiennych losowych Xt o wartościach rzeczywistych, tZ

,X-n,,X-1,X0,X1,,Xn,.
Definicja 14.2

Szereg czasowy Xt nazywamy stacjonarnym rzędu 2 gdy

a.tXtL2Ω;
b.t1,t2EXt1=EXt2;
c.t1,t2,ncovXt1+n,Xt2+n=covXt1,Xt2.

Zauważmy, że czasami stacjonarność rzędu 2 implikuje silną stacjonarność.

Lemat 14.1

Gaussowski szereg czasowy stacjonarny rzędu 2 jest silnie stacjonarny w sensie definicji 8.6.

Dowód.
Jeśli Xt jest procesem Gaussowskim to dla kazdego s>0 łączny rozkład X1,,Xs jest rozkładem normalnym Nμ,Σ, gdzie

μ1==μs=EX1,Σi,j=covXi,Xj.

Podobnie dla dowolnego n łączny rozkład Xn+1,,Xn+s jest rozkładem normalnym Nμ,Σ, gdzie

μ1==μs=EXn+1,Σi,j=covXn+i,Xn+j.

Ponieważ

EXn+1=EX1, i covXn+i,Xn+j=covXi,Xj,

to oba rozkłady są identyczne.

Podstawowymi narzędziami służącymi do opisu stacjonarnych szeregów czasowych są funkcje autokowariancji. Dla każdego stacjonarnego rzędu 2 szeregu czasowego Xtt=-+ definiujemy funkcję γ

γ:ZR,

przyporządkowującą liczbie całkowitej k - k-ty współczynnik autokowariancji (patrz definicja 11.1)

γk=covX0,Xk.

Zauważmy, że ze stacjonarności wynika, że dla każdego n

covXn,Xn+k=γk,

a w szczególności

D2Xn=γ0.
Twierdzenie 14.1

Niech k0, wówczas funkcja autokowariancji stacjonarnego szeregu czasowego spełnia następujące warunki

1.γ-k=γk;
2.γ00;
3.γkγ0;
4.a-k,,akRi,j=-kkaiajγi-j0.
Uwaga 14.1

Funkcje spełniające warunek 4 dla każdego k nazywa się dodatnio określonymi.

Dowód.
Punkt 1 wynika z symetrii kowariancji.

γ-k=covX0,X-k=covX-k,X0=covX0,Xk=γk.

Punkt 2 jest oczywisty.

γ0=covX0,X0=D2X00.

Punkt 3 wynika ze związków między korelacją i kowariancją.

γk2=covX0,Xk2D2X0D2Xk=γ02.

Punkt 4 wynika z nieujemności wariancji zmiennej losowej. Rozważmy zmienną losową

Xa=i=-kkaiXi.

Korzystając z dwuliniowości kowariancji otrzymujemy

0D2i=-kkaiXi=i,j=-kkaiajcovXi,Xj=i,j=-kkaiajγi-j.

Prawdziwe jest również twierdzenie odwrotne.

Twierdzenie 14.2

Jeśli funkcja γ:ZR spełnia warunki 1,2,3 i 4 z powyższego twierdzenia to jest ona funkcją autokowariancji pewnego stacjonarnego szeregu czasowego.

Dowód
Patrz – [3] Theorem 1.5.1.

Zachowanie się funkcji autokowariancji dla dużych n ma istotne znaczenie w praktycznych zastosowaniach. Wyróżnia się dwie klasy szeregów czasowych stacjonarnych rzędu 2.

Definicja 14.3

Niech X będzie szeregiem czasowym stacjonarnym rzędu 2, a γX jego funkcją autokowariancji.
Gdy γXn zbiega do zera dla dużych n w sposób wykładniczy

C>0δ0,1γXn<Cδn,

to mówimy, że X jest procesem o krótkiej pamięci.
W przeciwnym przypadku mówimy, że X jest procesem o długiej pamięci.

Gdy szereg czasowy nie jest prawie na pewno stały czyli gdy γ0>0 to definiujemy dodatkowo funkcję autokorelacji

ρ:Z-1,1,ρk=γkγ0.

Kluczowym obiektem w teorii szeregów czasowych stacjonarnych rzędu 2 jest biały szum. Jest to przykład procesu o (bardzo!) krótkiej pamięci.

Definicja 14.4

Stacjonarny rzędu 2 szereg czasowy ε nazywamy białym szumem gdy

EX0=0γ0>0 iγt=0 dla t0.

Gdy dodatkowo γ0=1 to ε nazywamy unormowanym białym szumem.

Zbiór szeregów czasowych będących białym szumem o wariancji σ2=γ0 będziemy oznaczać WNσ2.

Uwaga 14.2

Kolejne wyrazy białego szumu są nieskorelowane ale nie muszą być niezależne, chyba, że jest to gaussowski biały szum.

14.2. Sploty vel filtry

Na początek przypomnimy, kiedy ciąg liczb rzeczywistych jest klasy lp.

Definicja 14.5

Ciąg ann=0 należy do klasy lp gdy jest sumowalny w p-tej potędze.

ann=0lpn=0anp<.
Uwaga 14.3

Zauważmy, że l2 zawiera l1. Ponadto dla p1 klasy lp są unormowanymi przestrzeniami liniowymi

anlp=n=0anp1/p.
Definicja 14.6

Niech X=Xtt=-+ będzie szeregiem czasowym, a a=ann=0 ciągiem o wyrazach rzeczywistych. Wówczas szereg czasowy Y=Ytt=-+, którego wyrazy dają się przedstawić jako sumy nieskończone w L2Ω

Yt=i=0aiXt-i,

nazywamy splotem ciągu a i szeregu X.

Operację splotu będziemy oznaczać przez ”

Y=aX.
Uwaga 14.4

W niektórych źródłach operację splotu z ciągiem an nazywa się filtrem o współczynnikach an.

Podamy teraz dwa warunki gwarantujące istnienie splotu Yt ciągu a=an i szeregu Xt.

Twierdzenie 14.3

Jeżeli zachodzi jeden z poniższych warunków

1.anl1 i tZEXtμ,D2Xtσ2.
2.anl2,tZEXt=0,D2Xtσ2, oraz Xt nieskorelowane ze sobą.

to istnieje splot ciągu a=an i szeregu Xt.

Dowód.
Skorzystamy z zasady majoryzacji.
Ad 1.

YtL2i=0aiXt-iL2=i=0aiXt-iL2i=0aiσ2+μ2=σ2+μ2al1.

Ad 2.

YtL22=D2i=0aiXt-i=i=0ai2D2Xt-iσ2i=0ai2=σ2al22.
Twierdzenie 14.4

Gdy szereg czasowy Xt jest stacjonarny rzędu 2, a ciąg a=an należy do l1 to ich splot Yt jest stacjonarny rzędu 2.

Dowód.
Pokażemy, że wartość oczekiwana i autokowariancje szeregu Yt nie zmieniają się przy przesunięciu. Oznaczmy przez μ wartość oczekiwaną Xt a przez γX funkcję autokowariancji.

EYk=Ei=0aiXk-i=i=0aiEXk-i=i=0μai=i=0aiEX-i=EY0.
covYn,Yk+n=i,j=0aiajcovXn-i,Xn+k-j=i,j=0aiajγXk+i-j=
=i,j=0aiajcov(X-i,Xk-j)=cov(Y0,Yk).
Twierdzenie 14.5

Gdy szereg czasowy εt jest białym szumem, a ciąg a=an należy do l2 to ich splot Yt jest stacjonarny rzędu 2. Ponadto

EYt=0,γYk=σ2i=0aiak+i,

gdzie σ2 wariancja ε0.

Dowód.
Powtarzamy rozumowanie z poprzedniego dowodu i wstawiamy Eεt=0 oraz γε0=σ2γεt=0 dla t0.

Okazuje się, że z dokładnością do pewnego ”nieistotnego” składnika, wszystkie szeregi czasowe stacjonarne rzędu 2 można przedstawić w postaci splotu z białym szumem.

Twierdzenie 14.6

Niech X będzie szeregiem czasowym stacjonarnym rzędu 2 o zerowej wartości oczekiwanej, EX0=0. Wówczas istnieją ciąg a klasy l2 i unormowany biały szum ε takie, że

X=aϵ+V,

gdzie szereg czasowy V jest nieskorelowany z ε

s,tEVsεt=0

i ponadto jest zawarty w przecięciu domknięć (w L2) podprzestrzeni generowanych przez początkowe Xs

tVtn=-+ClL2(lin{Xs;sn}).

Dowód.
Powyższe twierdzenie jest wnioskiem z ”rozkładu Wolda” - [3] Theorem 5.7.1.

Operacja splotu przeprowadza szeregi czasowe stacjonarne rzędu 2 na szeregi czasowe stacjonarne rzędu 2. Zatem sploty można iterować.

Twierdzenie 14.7

Niech ciągi a i b należą do przestrzeni l1, a X będzie szeregiem czasowym stacjonarnym rzędu 2. Wówczas

abX=cX,

gdzie c jest ciągiem o wyrazach

cn=i=0naibn-i.
Uwaga 14.5

Ciąg c z powyższego twierdzenia nazywa się iloczynem Cauchy'ego ciągów a i b. Jak łatwo sprawdzić c też należy do l1. Zatem splot definiuje działanie algebry l1 na zbiorze szeregów czasowych, które są stacjonarne rzędu 2. Ponadto mnożenie Cauchy'ego jest przemienne gdyż

i=0naibn-i=j=0nan-jbj,

zatem dla a,bl1

baX=abX.

Dowód twierdzenia.
Oznaczmy przez Y splot b i X, a przez Z splot a i Y. Wówczas

Yt=i=0biXt-i,Zt=j=0ajYt-j.

Przedstawiamy szereg Z w zależności od szeregu X

Zt=j=0aji=0biXt-j-i=i,j=0ajbiXt-j-i.

Podstawiamy k=i+j i porządkujemy powyższą sumę względem Xt-k.

Zt=k=0j=0kajbk-jXt-k=k=0ckXt-k.

Gdy szereg X z twierdzenia 14.7 jest białym szumem to możemy osłabić założenia dotyczące ciągu b. W analogiczny sposób jak twierdzenie 14.7 dowodzi się następujące twierdzenie.

Twierdzenie 14.8

Niech ciąg a należy do przestrzeni l1, ciąg b do l2, a ε będzie białym szumem. Wówczas

abε=cε,

gdzie c jest ciągiem o wyrazach

cn=i=0naibn-i.

14.3. Funkcje tworzące

Mnożenie Cauchy'ego ciągów jest ściśle związane z mnożeniem szeregów potęgowych. Otóż

n=0anznn=0bnzn=n=0cnzn,

gdzie ciąg c jest iloczynem Cauchy'ego ciągów a i b

cn=i=0naibn-i.

Dlatego przyporządkujemy ciągom funkcje tworzące czyli sumy szeregów potęgowych. Pozwala to wykorzystać aparat analizy zespolonej do badania szeregów czasowych.

Definicja 14.7

Funkcję holomorficzną

Az=n=0anzn

nazywamy funkcją tworzącą ciągu liczbowego a=ann=0.

Zauważmy, że istnieje zależność między promieniem zbieżności RA szeregu potęgowego Az a klasą ciągu a.

Lemat 14.2
RA>1al1,
RA<1al2.

Dowód.
Gdy promień zbieżności szeregu potęgowego A jest większy od 1 to jest on zbieżny bezwzględnie w punkcie z=1. Zatem

n=0an=n=0anzn<.

Natomiast gdy ciąg a jest klasy l2 to musi on zbiegać do 0

limnan=0.

Zatem

lim supnann1.

Z czego wynika, że promień zbieżności szeregu potęgowego A jest nie mniejszy niż 1

RA=lim supnann-11.

Więc jeśli promień zbieżności RA jest mniejszy od 1, to ciąg a nie należy do l2.

Funkcje tworzące dla funkcji autokowariancji określamy jako sumy szeregów Laurenta (por. [15] Cz. I, §6).

Definicja 14.8

Funkcję holomorficzną

Γz=-+γnzn

określoną na pierścieniu

1r<z<r,r>1,

nazywamy funkcją tworzącą ciągu liczbowego γ=γn-+.

Uwaga 14.6

Współczynniki rozwinięcia funkcji Γ w szereg Laurenta na pierścieniu

1r<z<r,r>1,

są wyznaczone jednoznacznie (por. [15] Cz. I, §6, Twierdzenie 2).

Lemat 14.3

Niech γ będzie funkcją autokowariancji szeregu czasowego X stacjonarnego rzędu 2. Wówczas następujące warunki są równoważne:
1. Szereg Laurenta Γz jest zbiezny w pewnym pierścieniu

1r<z<r,r>1.

2. Szereg czasowy X jest procesem o krótkiej pamięci.

Dowód.
12
.
Z nierówności Cauchy'ego dla współczynników szeregu Laurenta ([15] s.120) otrzymujemy, że dla każdego ρ1,r

nγnMρn,

gdzie M to maksimum modułu funkcji Γ na okręgu z=ρ.

21.
Gdy szereg czasowy X jest procesem o krótkiej pamięci to istnieją stałe C i δ, C>0, δ0,1, takie, że

nγn<Cδn.

Zatem

lim supnγ-nn=lim supnγnnδ<1.

Zatem szereg Laurenta Γz jest zbieżny na pierścieniu

δ<z<1δ

(por. [15] s.117).

14.4. Operator przesunięcia

Oznaczymy przez L operator przesunięcia szeregu czasowego o 1 w prawo

Y=LXtZYt=Xt-1.

Pozwoli to nam zapisać splot Y=aX jako szereg potęgowy iterowanych operatorów przesunięcia

tZYt=i=0aiXt-iY=i=0aiLiX=ALX.

Z twierdzeń 14.7 i 14.8 wynika następujący wniosek.

Wniosek 14.1

Funkcja tworząca złożenia operatorów A1L i A2L jest iloczynem funkcji A1z i A2z

A1LA2L=A1A2L.

Funkcja tworząca funkcji autokowariancji szeregu czasowego X będącego obrazem unormowanego białego szumu ε, X=ALε wynosi

Γz=AzAz-1.
Uwaga 14.7

Gdy promień zbieżności szeregu potęgowego Az jest większy od 1 to szereg Γz=AzAz-1 jest zbieżny na pierścieniu

z:RA-1<z<RA.

Z powyższej uwagi i lematu 14.3 otrzymujemy:

Wniosek 14.2

Gdy promień zbieżności szeregu potęgowego Az jest większy od 1 to szereg czasowy X=ALε, εWNσ2, jest procesem o krótkiej pamięci.

14.5. Przykłady

Przedstawimy teraz kilka najpopularniejszych szeregów czasowych stacjonarnych rzędu 2. Niech ε=εt-+ będzie unormowanym białym szumem.

1. Wielomianowa funkcja tworząca.
Szereg czasowy X postaci

X=ALε,

gdzie Az wielomian stopnia p nazywa się szeregiem średnich ruchomych rzędu pMAp.

tXt=a0εt+a1εt-1++apεt-p.

2. Funkcja tworząca jest odwrotnością funkcji wielomianowej.
Szereg czasowy X postaci

X=CLε,Cz=1Bz,

gdzie Bz wielomian stopnia q, który nie zeruje się na kole jednostkowym

z1Bz0,

nazywa się szeregiem autoregresyjnym rzędu qARq.
Szereg X spełnia równanie

BLX=ε,

zatem

tb0Xt+b1Xt-1++bqXt-q=εt.

3. Funkcja tworząca jest ilorazem funkcji wielomianowych.
Szereg czasowy X postaci

X=DLε,Dz=AzBz,

gdzie Az wielomian stopnia p a Bz wielomian stopnia q, który nie zeruje się na kole jednostkowym

z1Bz0,

nazywa się autoregresyjnym szeregiem średnich ruchomych rzędu q,pARMAq,p.
Szereg X spełnia równanie

BLX=ALε,

zatem

tb0Xt+b1Xt-1++bqXt-q=a0εt+a1εt-1++apεt-p.

Biorąc pod uwagę, że funkcje tworzące w trzech powyższych przykładach mają promień zbieżności większy od 1, to na mocy wniosku 14.2 otrzymujemy:

Lemat 14.4

Szeregi czasowe MA, AR i ARMA są procesami o krótkiej pamięci.

Uwaga 14.8

Niech γ będzie funkcją autokowariancji szeregu czasowego X=ALε, εWN1. Gdy X jest klasy AR to operator A jest wyznaczony przez funkcje autokowariancji γ z dokładnością do znaku. Natomiast dla szeregów czasowych MA i ARMA taka jednoznaczność zachodzi tylko przy dodatkowym warunku, że funkcje tworzące nie zerują się w kole jednostkowym.

Przykład ARMA1,1.
Rozważmy szereg czasowy

X=DLε,Dz=3z+1z+3,εWN1.

Funkcja Dz jest holomorficzna na całej płaszczyźnie zespolonej poza punktem z=-3 gdzie ma biegun. Zatem promień zbieżności jej szeregu Taylora w 0 wynosi 3.
Okazuje się, że funkcja tworząca funkcji autokowariancji jest stała

Γz=DzDz-1=3z+1z+33z-1+1z-1+3=3z+1z+33+1z1+3z=1.

Czyli szereg X jest białym szumem. Zatem reprezentacja ARMA szeregu czasowego o zadanej funkcji autokowariancji nie jest jednoznaczna.

14.6. Procesy o przyrostach stacjonarnych

Niech Y będzie dowolnym szeregiem czasowym. Szereg X taki, że

tXt=Yt-Yt-1,

czyli

X=1-LY,

nazywamy szeregiem przyrostów szeregu Y.

Operację brania przyrostów można iterować. Szereg

X=1-LkY=PLY,Pz=1-zk,

nazywamy szeregiem k-tych przyrostów szeregu Y.

Gdy k-te przyrosty szeregu czasowego Y są stacjonarne rzędu 2 i należą do klasy ARMAq,p to mówimy, że szereg Y jest klasy ARIMAq,k,p.

Przykłady
Błądzenie przypadkowe bez dryfu

Xt=Xt-1+σεt

jest procesem klasy ARIMA0,1,0.

Błądzenie przypadkowe z dryfem

Xt=Xt-1+μ+σεt

jest procesem klasy ARIMA0,2,1.

Trend liniowy

Xt=at+b+σεt

jest procesem klasy ARIMA0,2,2.

Trend wielomianowy stopnia k

Xt=aktk+ak-1tk-1+a0+σεt

jest procesem klasy ARIMA0,k+1,k+1.

14.7. Ułamkowy ruch Browna

Definicja 14.9

Gaussowski proces BtH, tZ, H0,1, taki, że

tEXt=0;
t,scovBtH,BsH=σ22t2H+s2H-t-s2H,σ>0,

nazywamy ułamkowym ruchem Browna.

Pokażemy, że szereg BH jest procesem o przyrostach stacjonarnych. Niech

Xt=BtH-Bt-1H.
Lemat 14.5

Szereg czasowy XtH jest stacjonarny o zerowej wartości oczekiwanej, EXtH=0, oraz funkcji autokowariancji

γn=σ22n+12H+n-12H-2n2H.

Dowód.
Ponieważ BH jest szeregiem o zerowej wartości oczekiwanej to to samo zachodzi dla szeregu przyrostów. Natomiast

covXtH,Xt+nH=covBtH-Bt-1H,Bt+nH-Bt+n-1H=
=σ22((|t|2H+|t+n|2H-|n|2H)+(|t-1|2H+|t+n-1|2H-|n|2H)-
-(|t+n|2H+|t-1|2H-|n+1|2H)-(|t+n-1|2H+|t|2H-|n-1|2H))=
=σ22n+12H+n-12H-2n2H.

Zatem XH jest stacjonarny z funkcją autokowariancji

γn=σ22n+12H+n-12H-2n2H.
Uwaga 14.9

Dla wszystkich XH γ0=σ2. Dodatkowo dla H=12 i n0 γn=0. Zatem X1/2 jest gaussowskim białym szumem, a B1/2 jest gaussowskim błądzeniem przypadkowym.

Lemat 14.6

Dla H12

limnγnn2-2H=H2H-1σ2.

Dowód.
Dla n>1

γnσ2=12n+12H+n-12H-2n2H=n2H21+1n2H+1-1n2H-2=
=n2H2(1+2Hn+2H2H-12n2+1-2Hn+2H2H-12n2-2+O(n-3))=
=H2H-1n2H-2+On2H-3.
Uwaga 14.10

Gdy H12, to szereg czasowy XH jest procesem stacjonarnym o długiej pamięci.

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego.

Projekt współfinansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego i przez Uniwersytet Warszawski.