Notice: Undefined index: mode in /home/misc/mst/public_html/common.php on line 63 Notice: Undefined index: mode in /home/misc/mst/public_html/common.php on line 65 Notice: Undefined index: mode in /home/misc/mst/public_html/common.php on line 67 Notice: Undefined index: mode in /home/misc/mst/public_html/common.php on line 69 Notice: Undefined variable: base in /home/misc/mst/public_html/lecture.php on line 36 Rachunek prawdopodobieństwa II – 2. Funkcje charakterystyczne rozkładów prawdopodobieństwa w – MIM UW

Zagadnienia

2. Funkcje charakterystyczne rozkładów prawdopodobieństwa w \mathbb{R}^{d}

Do tej pory zajmowaliśmy się zmiennymi losowymi o wartościach w \mathbb{R}^{d} bądź, ogólniej, w przestrzeniach metrycznych (bez żadnej dodatkowej struktury). W tym rozdziale ważną rolę będą pełniły zmienne losowe o wartościach w \mathbb{C}.

2.1. Zmienne losowe o wartościach zespolonych.

Załóżmy, że (\Omega,\mathcal{F},\mathbb{P}) jest przestrzenią probabilistyczną. Funkcja X:\Omega\to\mathbb{C} jest zmienną losową, jeśli jest zmienną losową przy utożsamieniu \mathbb{C}=\mathbb{R}^{2} - innymi słowy, jeśli (X_{1},X_{2})=(\mbox{Re}X,\text{Im}X) jest zmienną losową w \mathbb{R}^{2}. Jeśli X_{1} oraz X_{2} są całkowalne (co jest równoważne temu, że \mathbb{E}|X|=\mathbb{E}\sqrt{X_{1}^{2}+X_{2}^{2}}<\infty), to definiujemy \mathbb{E}X=\mathbb{E}X_{1}+i\mathbb{E}X_{2}. Bez trudu dowodzimy, iż mają miejsce następujące fakty.

(i) Mamy |\mathbb{E}X|\leq\mathbb{E}|X|.

(ii) Zachodzi twierdzenie Lebesgue'a o zmajoryzowanym przejściu do granicy pod znakiem wartości oczekiwanej.

(iii) Dla dowolnych z_{1},\, z_{2}\in\mathbb{C} i dowolnych zespolonych zmiennych losowych X,\, Y takich, że \mathbb{E}X,\,\mathbb{E}Y istnieją, mamy

\mathbb{E}(z_{1}X+z_{2}Y)=z_{1}\mathbb{E}X+z_{2}\mathbb{E}Y.

2.2. Funkcje charakterystyczne

Przechodzimy do definicji głownego pojęcia tego rozdziału.

Definicja 2.1

(i) Załóżmy, że P jest rozkładem prawdopodobieństwa w \mathbb{R}^{d}. Funkcję

\varphi _{P}(t)=\int _{{\mathbb{R}^{d}}}e^{{i(t,x)}}P(dx),\qquad t\in\mathbb{R}^{d},

nazywamy funkcją charakterystyczną P.

(ii) Załóżmy, że X jest zmienną losową o wartościach w \mathbb{R}^{d}, określoną na (\Omega,\mathcal{F},\mathbb{P}). Wówczas \varphi _{X}:=\varphi _{{P_{X}}} nazywamy funkcją charakterystyczną (rozkładu) zmiennej losowej X.

Uwaga: Z twierdzenia o zamianie zmiennych wynika, iż \varphi _{X}(t)=\mathbb{E}e^{{i(t,X)}}.

Bezpośrednio z definicji widzimy, że funkcja charakterystyczna zmiennej losowej zależy tylko od rozkładu tej zmiennej.

Własności funkcji charakterystycznych.

1) Załóżmy, że X jest d-wymiarową zmienną losową. Wówczas \varphi _{X} jest dobrze określona na całym \mathbb{R}^{d}, ponadto \varphi _{X}(0)=1 oraz

|\varphi _{X}(t)|\leq\mathbb{E}|e^{{i(t,X)}}|=1\qquad\mbox{ dla wszystkich }t\in\mathbb{R}^{d}.

2) Załóżmy, że X jest d-wymiarową zmienną losową. Wówczas \varphi _{X} jest jednostajnie ciągła na \mathbb{R}^{d}; istotnie, dla h\in\mathbb{R}^{d},

\begin{split}\sup _{{t\in\mathbb{R}^{d}}}|\varphi _{X}(t+h)-\varphi _{X}(t)|&=\sup _{{t\in\mathbb{R}^{d}}}|\mathbb{E}e^{{i(t+h,X)}}-\mathbb{E}e^{{i(t,X)}}|\\
&\leq\sup _{{t\in\mathbb{R}^{d}}}\mathbb{E}|e^{{i(t+h,X)}}-e^{{i(t,X)}}|\leq\mathbb{E}|e^{{i(h,X)}}-1|\to 0,\end{split}

gdy h\to 0.

3) Załóżmy, że X jest d-wymiarową zmienną losową. Wówczas \varphi _{X} jest dodatnio określona, tzn. dla wszystkich a_{1},\, a_{2},\,\ldots,\, a_{n}\in\mathbb{C} oraz t_{1},\, t_{2},\,\ldots,\, t_{n}\in\mathbb{R}^{d},

\sum _{{j,k}}\varphi _{X}(t_{j}-t_{k})a_{j}\overline{a_{k}}\geq 0.

Istotnie, mamy

\begin{split} 0&\leq\int _{{\mathbb{R}^{d}}}\left|\sum _{{j=1}}^{n}a_{j}e^{{i(t_{j},x)}}\right|^{2}P_{X}(dx)=\int _{{\mathbb{R}^{d}}}\sum _{{j,k}}a_{j}e^{{i(t_{j},x)}}\overline{a_{k}e^{{i(t_{k},x)}}}P_{X}(dx)\\
&=\sum _{{j,k}}a_{j}\overline{a_{k}}\int _{{\mathbb{R}^{d}}}e^{{i(t_{j},x)}}e^{{-i(t_{k},x)}}P_{X}(dx)=\sum _{{j,k}}\varphi _{X}(t_{j}-t_{k})a_{j}\overline{a_{k}}.\end{split}

Powstaje naturalne pytanie: kiedy funkcja \varphi:\mathbb{R}^{d}\to\mathbb{C} jest funkcją charakterystyczną pewnego rozkładu? Odpowiedź jest zawarta w następującym twierdzeniu.

Twierdzenie 2.1 (Bochner)

Funkcja \varphi:\mathbb{R}^{d}\to\mathbb{C} jest funkcją charakterystyczną pewnego rozkładu prawdopodobieństwa w \mathbb{R}^{d} wtedy i tylko wtedy, gdy jest ciągła, dodatnio określona oraz \varphi(0)=1.

4) Załóżmy, że X jest d-wymiarową zmienną losową, A jest macierzą n\times d oraz b\in\mathbb{R}^{n}. Wówczas

\varphi _{{AX+b}}(t)=\mathbb{E}e^{{i(t,AX+b)}}=e^{{i(t,b)}}\mathbb{E}e^{{i(t,AX)}}=e^{{i(t,b)}}\mathbb{E}e^{{i(A^{T}t,X)}}=e^{{i(t,b)}}\varphi _{X}(A^{T}t).

W szczególności, \varphi _{{-X}}(t)=\varphi _{X}(-t)=\overline{\varphi _{X}(t)}. Oznacza to, iż jeśli P_{X}=P_{{-X}} (rozkład zmiennej jest symetryczny), to \varphi _{X} jest rzeczywista.

5) Załóżmy, że X jest rzeczywistą zmienną losową taką, że \mathbb{E}|X|^{k}<\infty dla pewnej liczby całkowitej dodatniej k. Wówczas \varphi _{X} ma k-tą pochodną ciągłą i

\varphi^{{(k)}}_{X}(t)=i^{k}\mathbb{E}(e^{{itX}}X^{k}).

W szczególności, \varphi _{X}^{{(k)}}(0)=i^{k}\mathbb{E}X^{k}.

Weźmy najpierw k=1. Mamy

\begin{split}\frac{\varphi _{X}(t+h)-\varphi _{X}(t)}{h}&=\mathbb{E}\frac{e^{{i(t+h)X}}-e^{{itX}}}{h}=\mathbb{E}e^{{itX}}\left(\frac{e^{{ihX}}-1}{h}\right).\end{split}

Zauważmy, że \lim _{{h\to 0}}h^{{-1}}(e^{{ihX}}-1)=iX oraz

\begin{split}\left|e^{{itX}}\frac{e^{{ihX}}-1}{h}\right|&\leq\frac{|\cos(hX)-1|}{|h|}+\frac{\sin(hX)}{|h|}\\
&=|X|\left(\left|\sin({hX}/{2})\frac{\sin(hX/2)}{hX/2}\right|+\frac{|\sin(hX)|}{|hX|}\right)\leq 2|X|\in L^{1},\end{split}

zatem z twierdzenia Lebesgue'a wynika teza. Dla k>1 dowód jest analogiczny, opierający się na indukcji.

Zachodzi następujący ogólniejszy fakt: jeśli X=(X_{1},\, X_{2},\,\ldots,\, X_{d}) jest d-wymiarową zmienną losową taką, że \mathbb{E}|X|^{k}<\infty, to \varphi _{X} ma ciągłe pochodne cząstkowe k-tego rzędu i

\frac{\partial^{k}}{\partial t_{1}^{{j_{1}}}\partial t_{2}^{{j_{2}}}\ldots\partial t_{d}^{{j_{d}}}}\varphi _{X}(t_{1},\, t_{2},\,\ldots,\, t_{d})=i^{k}\mathbb{E}(e^{{i(t,X)}}X_{1}^{{j_{1}}}X_{2}^{{j_{2}}}\ldots X_{d}^{{j_{d}}}).

6) Jeśli zmienne X_{1}, X_{2}, \ldots, X_{n} są niezależne, to

\varphi _{{X_{1}+X_{2}+\ldots+X_{n}}}(t)=\varphi _{{X_{1}}}(t)\varphi _{{X_{2}}}(t)\ldots\varphi _{{X_{n}}}(t).

Istotnie, mamy, iż e^{{i(t,X_{1})}},\, e^{{i(t,X_{2})}},\,\ldots,\, e^{{i(t,X_{d})}} są niezależne, skąd

\varphi _{{X_{1}+X_{2}+\ldots+X_{n}}}(t)=\mathbb{E}\prod _{{j=1}}^{n}e^{{i(t,X_{j})}}=\prod _{{j=1}}^{n}\mathbb{E}e^{{i(t,X_{j})}}=\prod _{{j=1}}^{n}\varphi _{{X_{j}}}(t).

2.3. Przykłady.

(I) Załóżmy najpierw, że X jest d-wymiarową zmienną losową o rozkładzie skokowym i niech S_{X} oznacza zbiór atomów. Bezpośrednio z definicji mamy, iż

\varphi _{X}(t)=\sum _{{x\in S_{X}}}e^{{i(t,x)}}P_{X}(\{ x\}).

W szczególności:

1) Jeśli P_{X}=\delta _{a}, a\in\mathbb{R}^{d}, to \varphi _{X}(t)=e^{{i(t,a)}}. Co więcej, jeśli a=0, to \varphi _{X}\equiv 1.

2) Załóżmy, że P_{X}=Pois(\lambda), \lambda>0. Mamy

\varphi _{X}(t)=\sum _{{k=0}}^{\infty}e^{{itk}}\frac{\lambda^{k}}{k!}e^{{-\lambda}}=e^{{-\lambda}}\sum _{{k=0}}^{\infty}\frac{(e^{{it}}\lambda)^{k}}{k!}=e^{{-\lambda}}e^{{\lambda e^{{it}}}}=e^{{\lambda(e^{{it}}-1)}}.

3) P_{X}=B(n,p). Niech X_{1},\, X_{2},\,\ldots,\, X_{n} będą niezależnymi zmiennymi losowymi o tym samym rozkładzie \mathbb{P}(X_{i}=1)=p=1-\mathbb{P}(X_{i}=0). Ponieważ X_{1}+X_{2}+\ldots+X_{n} ma ten sam rozkład co X, to

\begin{split}\varphi _{X}(t)&=\varphi _{{X_{1}+X_{2}+\ldots+X_{n}}}(t)=\varphi _{{X_{1}}}(t)\varphi _{{X_{2}}}(t)\ldots\varphi _{{X_{n}}}(t)\\
&=(\varphi _{{X_{1}}}(t))^{n}=(1+p(e^{{it}}-1))^{n}.\end{split}

(II) Załóżmy teraz, że X jest d-wymiarową zmienną losową o rozkładzie ciągłym z gęstością g. Z definicji mamy, iż

\varphi _{X}(t)=\int _{{\mathbb{R}^{d}}}e^{{i(t,x)}}g(x)dx.

W szczególności:

4) Jeśli P_{X} jest rozkładem jednostajnym na przedziale [a,b], to

\varphi _{X}(t)=\frac{1}{b-a}\int _{a}^{b}e^{{itx}}dx=\frac{1}{it(b-a)}(e^{{itb}}-e^{{ita}}).

Jeśli b=-a, to \varphi _{X} jest funkcją rzeczywistą i \varphi _{X}(t)=\frac{\sin(tb)}{tb}.

5) Jeśli P_{X}=\mathcal{N}(m,\sigma^{2}), m\in\mathbb{R},\,\sigma>0, to

g(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-m)^{2}}{2\sigma^{2}}\right)

oraz

\varphi _{X}(t)=e^{{itm}}e^{{-\sigma^{2}t^{2}/2}} (*)

(w szczególności, dla standardowego rozkładu normalnego, dostajemy \varphi(t)=e^{{-t^{2}/2}}).

Istotnie, weźmy X jak wyżej. Zmienna (X-m)/\sigma ma standardowy rozkład normalny i

\varphi _{X}(t)=\varphi _{{\sigma\frac{X-m}{\sigma}+m}}(t)=\varphi _{{(X-m)/\sigma}}(\sigma t)e^{{itm}}.

Zatem wystarczy udowodnić wzór (*) dla rozkładu \mathcal{N}(0,1). Załóżmy więc, że X ma ten rozkład i zauważmy najpierw, że \varphi _{X} jest funkcją rzeczywistą, gdyż rozkład X jest symetryczny. Zatem

\varphi _{X}(t)=\int _{R}\cos(tx)\frac{1}{\sqrt{2\pi}}e^{{-x^{2}/2}}dx

oraz

\begin{split}\varphi _{X}^{{\prime}}(t)&=\int _{R}\sin(tx)\frac{1}{\sqrt{2\pi}}(-x)e^{{-x^{2}/2}}dx\\
&=\frac{1}{\sqrt{2\pi}}\sin(tx)e^{{-x^{2}/2}}\Big|_{{-\infty}}^{{\infty}}-\frac{1}{\sqrt{2\pi}}\int _{R}t\cos(tx)e^{{-x^{2}/2}}dx=-t\varphi _{X}(t).\end{split}

Dodatkowo, jak wiemy, \varphi _{X}(0)=1: stąd \varphi _{X}(t)=e^{{-t^{2}/2}}.

Ogólniej, jeśli X ma d-wymiarowy rozkład normalny z gęstością

g(x)=\frac{\sqrt{\mbox{det}A}}{(2\pi)^{{d/2}}}\exp\left(-\frac{1}{2}(A(x-m),x-m)\right)

(gdzie A to pewna macierz d\times d symetryczna i dodatnio określona, a m jest pewnym wektorem z \mathbb{R}^{d}), to

\varphi _{X}(t)=e^{{i(m,t)}}e^{{(A^{{-1}}t,t)/2}}.

Dowód tego faktu przeprowadzimy nieco później.

Przejdziemy teraz do twierdzenia o jednoznaczności: okazuje się, że funkcja charakterystyczna wyznacza rozkład jednoznacznie.

Twierdzenie 2.2 (O jednoznaczności)

Jeśli P, P^{{\prime}} są rozkładami prawdopodobieństwa w \mathbb{R}^{d} takimi, że \varphi _{P}(t)=\varphi _{{P^{{\prime}}}}(t) dla wszystkich t\in\mathbb{R}^{d}, to P=P^{{\prime}}.

Zanim podamy dowód, najpierw sformułujmy wniosek.

Stwierdzenie 2.1

Zmienne losowe X_{1},\, X_{2},\,\ldots,\, X_{n} są niezależne wtedy i tylko wtedy, gdy

\varphi _{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}(t_{1},\, t_{2},\,\ldots,\, t_{n})=\varphi _{{X_{1}}}(t_{1})\varphi _{{X_{2}}}(t_{2})\ldots\varphi _{{X_{n}}}(t_{n}) (*)

dla wszystkich (t_{1},\, t_{2},\,\ldots,\, t_{n})\in\mathbb{R}^{n}.

Dowód:

\Rightarrow Mamy

\begin{split}\varphi _{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}(t_{1},\, t_{2},\,\ldots,\, t_{n})&=\varphi _{{P_{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}}}(t_{1},\, t_{2},\,\ldots,\, t_{n})\\
&=\varphi _{{P_{{X_{1}}}\otimes P_{{X_{2}}}\otimes\ldots\otimes P_{{X_{n}}}}}(t_{1},\, t_{2},\,\ldots,\, t_{n})\\
&=\int _{{\mathbb{R}^{n}}}\exp\left(i\sum _{{j=1}}^{n}t_{j}x_{j}\right)P_{{X_{1}}}(dx_{1})\ldots P_{{X_{n}}}(dx_{n})\\
&=\prod _{{j=1}}^{n}\int _{R}e^{{it_{j}x_{j}}}P_{{X_{j}}}(dx_{j})=\prod _{{j=1}}^{n}\varphi _{{X_{j}}}(t_{j}),\end{split}

gdzie w przedostatnim przejściu korzystaliśmy z twierdzenia Fubiniego.

\Leftarrow Korzystając z przed chwilą udowodnionej implikacji, możemy zapisać (*) w postaci

\varphi _{{P_{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}}}(t_{1},\, t_{2},\,\ldots,\, t_{n})=\varphi _{{P_{{X_{1}}}\otimes P_{{X_{2}}}\otimes\ldots\otimes P_{{X_{n}}}}}(t_{1},\, t_{2},\,\ldots,\, t_{n}),

a więc twierdzenie o jednoznaczności daje

P_{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}=P_{{X_{1}}}\otimes P_{{X_{2}}}\otimes\ldots\otimes P_{{X_{n}}},

czyli niezależność zmiennych X_{1},\, X_{2},\,\ldots,\, X_{n}.

W dowodzie twierdzenia o jednoznaczności będziemy potrzebować następującego pomocniczego faktu.

Twierdzenie 2.3 (Weierstrass)

Załóżmy, że f:\mathbb{R}\to\mathbb{R} jest ciągłą funkcją okresową. Wówczas istnieje ciąg (w_{n}) wielomianów trygonometrycznych o tym samym okresie co f, zbieżny jednostajnie do f. (wielomian trygonometryczny o okresie T to funkcja w:\mathbb{R}\to\mathbb{R} postaci w(x)=\sum _{{k=0}}^{n}[\alpha _{k}\sin(kx\cdot 2\pi/T)+\beta _{k}\cos(kx\cdot 2\pi/T)].)

Dowód twierdzenia o jednoznaczności (tylko dla d=1):

Wystarczy udowodnić, że dla dowolnej funkcji f\in C(\mathbb{R}) mamy

\int _{\mathbb{R}}fdP=\int _{\mathbb{R}}fdP^{{\prime}}. (*)

Z założenia, (*) zachodzi dla funkcji x\mapsto e^{{itx}}, x\in\mathbb{R}, przy każdym ustalonym t\in\mathbb{R}. Zatem, z liniowości, powyższa równość ma miejsce dla dowolnego wielomianu trygonometrycznego; mamy bowiem \sin(tx)=(e^{{itx}}-e^{{-itx}})/(2i), \cos(tx)=(e^{{itx}}+e^{{-itx}})/2. Na mocy twierdzenia Weierstrassa, (*) jest prawdziwa dla dowolnej funkcji ciągłej okresowej. Niech teraz f będzie dowolną funkcją ciągłą i ograniczoną. Istnieje ciąg (f_{n}) funkcji ciągłych i okresowych o następującej własności:

f(x)=f_{n}(x)\quad\text{ dla }x\in[-n,n]\quad\text{ oraz }\,\,\sup _{{x\in\mathbb{R}}}|f_{n}(x)|\leq\sup _{{x\in\mathbb{R}}}|f(x)|.

Mamy, na mocy nierówności trójkąta,

\begin{split}\left|\int _{\mathbb{R}}fdP-\int _{\mathbb{R}}fdP^{{\prime}}\right|&\leq\int _{\mathbb{R}}|f-f_{n}|dP+\left|\int _{\mathbb{R}}f_{n}dP-\int _{\mathbb{R}}f_{n}dP^{{\prime}}\right|+\int _{\mathbb{R}}|f-f_{n}|dP^{{\prime}}\\
&=\int _{{[-n,n]^{c}}}|f-f_{n}|dP+0+\int _{{[-n,n]^{c}}}|f-f_{n}|dP^{{\prime}}\\
&\leq 2\sup _{{x\in\mathbb{R}}}|f(x)|\big[P([-n,n]^{c})+P^{{\prime}}([-n,n]^{c})\big]\to 0\end{split}

gdy n\to\infty. Stąd otrzymujemy tezę. W przypadku ogólnym (tzn. dla d>1) dowód jest bardzo podobny; rolę twierdzenia Weierstrassa pełni ogólniejsze twierdzenie Stone'a-Weierstrassa.

Rozkłady Gaussa (rozkłady normalne) w \mathbb{R}^{d}. Załóżmy, że X ma rozkład normalny w \mathbb{R}^{d}, o wartości ozekiwanej m i macierzy kowariancji \Lambda. Udowodnimy, że

\varphi _{X}(t)=e^{{i(t,m)-(\Lambda t,t)/2}}.

Istotnie, niech Y_{1}, Y_{2}, \ldots, Y_{d} będą niezależnymi zmiennymi losowymi o standarowym rozkładzie normalnym na \mathbb{R} i niech Z=BY+m, gdzie B jest macierzą d\times d i m\in\mathbb{R}^{d}. Mamy

\varphi _{Y}(t)=e^{{-|t|^{2}/2}},
\varphi _{Z}(t)=e^{{i(t,m)}}\varphi _{Y}(B^{T}t)=e^{{i(t,m)-(B^{T}t,B^{T}t)/2}}=e^{{i(t,m)-(BB^{T}t,t)/2}}.

Zauważmy, że BB^{T} jest macierzą symetryczną, nieujemnie określoną. Co więcej, każda macierz symetryczna d\times d nieujemnie określona da się ta zapisać; stąd, dla dowolnej nieujemnie określonej symetrycznej macierzy \Lambda o wymiarach d\times d i dowolnego wektora m\in\mathbb{R}^{d}, funkcja

\varphi(t)=e^{{i(t,m)-(\Lambda t,t)/2}}

jest funkcją charakterystyczną dokładnie jednego rozkładu prawdopodobieństwa w \mathbb{R}^{d}. Rozkłady tej postaci nazywamy rozkładami Gaussa w \mathbb{R}^{d}. Zauważmy, że niektóre rozkłady Gaussa nie mają gęstości.

Bezpośrednio z definicji dostajemy następujące wnioski.

Stwierdzenie 2.2

Załóżmy, że X ma rozkład Gaussa w \mathbb{R}^{d}, a A jest macierzą n\times d i m\in\mathbb{R}^{n}. Wówczas AX+m ma rozkład Gaussa w \mathbb{R}^{n}.

Stwierdzenie 2.3

Jeśli X, Y są niezależnymi zmiennymi losowymi o rozkładach Gaussa w \mathbb{R}^{d} o wartościach oczekiwanych m_{X}, m_{Y} oraz macierzach kowariancji \Lambda _{1}, \Lambda _{2}, odpowiednio, to X+Y ma rozkład Gaussa w \mathbb{R}^{d} o wartości średniej m_{X}+m_{Y} oraz macierzy \Lambda _{1}+\Lambda _{2}.

Przechodzimy do kolejnego bardzo ważnego faktu, łączącego zbieżność według rozkładu ze zbieżnością funkcji charakterystycznych.

Twierdzenie 2.4 (Lévy - Cramera)

Załóżmy, że P_{n} (n=1,\, 2,\,\ldots) są rozkładami prawdopodobieństwa w \mathbb{R}^{d}.

(i) Jeśli P_{n}\Rightarrow P, to dla każdego t\in\mathbb{R}^{d}, \varphi _{{P_{n}}}(t)\to\varphi _{P}(t).

(ii) Jeśli dla każdego t\in\mathbb{R}^{d} mamy \varphi _{{P_{n}}}(t)\to\varphi(t), gdzie \varphi-pewna funkcja ciągła w 0, to \varphi=\varphi _{P} dla pewnego rozkładu P i P_{n}\Rightarrow P.

Dowód:

(i) Z definicji zbieżności według rozkładu mamy, dla dowolnego t\in\mathbb{R}^{d},

\begin{split}\varphi _{{P_{n}}}(t)&=\int _{{\mathbb{R}^{d}}}\cos(x,t)P_{n}(dx)+i\int _{{\mathbb{R}^{d}}}\sin(t,x)P_{n}(dx)\\
&\to\int _{{\mathbb{R}^{d}}}\cos(x,t)P(dx)+i\int _{{\mathbb{R}^{d}}}\sin(t,x)P(dx)=\int _{{\mathbb{R}^{d}}}e^{{i(t,x)}}(dx)=\varphi _{P}(t).\end{split}

(ii) Zacznijmy od pomocniczego faktu.

Lemat 2.1

Jeśli \varphi _{{P_{n}}}(t)\to\varphi(t) dla t należących do pewnego otoczenia 0 i \varphi jest ciągła w 0, to rodzina \{ P_{n}\} _{n} jest ciasna.

Dowód lematu:

Wprowadźmy oznaczenie Q_{a}=[-a,a]\times[-a,a]\times\ldots[-a,a]\subset\mathbb{R}^{d}. Przypuśćmy, wbrew tezie, że rodzina \{ P_{n}\} nie jest ciasna. Wówczas istnieje \varepsilon>0 o tej własności, iż przy każdym k\in\mathbb{N} mamy P_{{n_{k}}}(Q_{k})<1-\varepsilon dla pewnego n_{k}. Zauważmy, iż n_{k}\to\infty; istotnie, w przeciwnym razie pewna liczba m znalazłaby się w ciągu (n_{k})_{k} nieskończenie wiele razy, co prowadziłoby do nierówności P_{m}(\mathbb{R}^{d})\leq 1-\varepsilon; sprzeczność.

Ponieważ \varphi jest ciągła w 0, to Re\varphi także ma tę własność; ponadto, na mocy zbieżności punktowej, Re\varphi(0)=\varphi(0)=1. Wobec tego istnieje takie a>0, że dla każdego t\in Q_{a} mamy \varphi _{{P_{n}}}(t)\to\varphi(t) oraz Re\varphi(t)>1-\varepsilon/2. Dalej,

\left|\int _{{Q_{a}}}\varphi(t)dt\right|\geq\int _{{Q_{a}}}\mbox{Re}\varphi(t)dt\geq(1-\varepsilon/2)(2a)^{d},
\begin{split}\left|\int _{{Q_{a}}}\varphi _{{P_{{n_{k}}}}}(t)dt\right|&=\left|\int _{{Q_{a}}}\int _{{\mathbb{R}^{d}}}e^{{i(t,x)}}P_{{n_{k}}}(dx)dt\right|=\left|\int _{{\mathbb{R}^{d}}}\int _{{Q_{a}}}e^{{i(t,x)}}dtP_{{n_{k}}}(dx)\right|\\
&\leq\int _{{Q_{k}}}\left|\int _{{Q_{a}}}e^{{i(t,x)}}dt\right|P_{{n_{k}}}(dx)+\int _{{Q_{k}^{c}}}\left|\int _{{Q_{a}}}e^{{i(t,x)}}dt\right|P_{{n_{k}}}(dx)\\
&\leq(2a)^{d}P_{{n_{k}}}(Q_{k})+T,\end{split}

gdzie

T=\int _{{Q_{k}^{c}}}\left|\int _{{Q_{a}}}e^{{i(t,x)}}dt\right|P_{{n_{k}}}(dx)=\int _{{Q_{k}^{c}}}\left|\prod _{{j=1}}^{d}\int _{{-a}}^{a}e^{{it_{j}x_{j}}}dt_{j}\right|P_{{n_{k}}}(dx).

Ustalmy teraz x\in Q_{k}^{c}. Istnieje współrzędna x_{l} punktu x większa co do modułu niż k, zatem

\prod _{{j=1}}^{d}\left|\int _{{-a}}^{a}e^{{it_{j}x_{j}}}dt_{j}\right|\leq(2a)^{{d-1}}\left|\frac{e^{{ia_{l}x_{l}}}-e^{{-ia_{l}x_{l}}}}{ix_{l}}\right|\leq 2(2a)^{{a-1}}/k.

Stąd

\begin{split}(2a)^{d}P_{{n_{k}}}(Q_{k})+T&\leq(2a)^{d}P_{{n_{k}}}(Q_{k})+2(2a)^{{d-1}}P_{{n_{k}}}(Q_{k}^{c})/k\\
&\leq(2a)^{d}(1-\varepsilon)+2(2a)^{{d-1}}/k\xrightarrow{k\to\infty}(2a)^{d}(1-\varepsilon).\end{split}

Ale na mocy twierdzenia Lebesgue'a, \int _{{Q_{a}}}\varphi _{{P_{{n_{k}}}}}(t)dt\to\int _{{Q_{a}}}\varphi(t)dt; stąd sprzeczność: (2a)^{d}(1-\varepsilon/2)<(2a)^{a}(1-\varepsilon).

Przechodzimy do dowodu części (ii) twierdzenia Levy-Cramera. Powyższy lemat oraz twierdzenie Prochorowa dają istnienie miary probabilistycznej P na \mathbb{R}^{d} oraz podciągu (P_{{n_{k}}})_{k} zbieżnego słabo do P. Na mocy części (i) twierdzenia Levy-Cramera, mamy \varphi _{{P_{{n_{k}}}}}(t)\xrightarrow{k\to\infty}\varphi _{P}(t), skąd \varphi(t)=\varphi _{P}(t). Pozostaje jeszcze tylko udowodnić, że P_{n}\Rightarrow P. Przypuśćmy przeciwnie, iż dla pewnej funkcji f\in C(R^{d}) mamy \int _{{\mathbb{R}^{d}}}fdP_{n}\not\to\int _{{\mathbb{R}^{d}}}fdP; stąd, dla pewnego podciągu (m_{k}),

\int _{{\mathbb{R}^{d}}}fdP_{{m_{k}}}\to\alpha\neq\int _{{\mathbb{R}^{d}}}fdP. (*)

Ale na mocy lematu, rodzina (P_{{m_{k}}}) także jest ciasna, stąd z twierdzenia Prochorowa istnieje podciąg (m_{{k_{j}}}) oraz miara probabilistyczna P^{{\prime}} taka, że P_{{m_{{k_{j}}}}}\Rightarrow P^{{\prime}}. Zatem, korzystając z (i), \varphi _{{P_{{m_{{k_{j}}}}}}}(t)\to\varphi _{{P^{{\prime}}}}(t), czyli \varphi _{P}=\varphi _{{P^{{\prime}}}}. Sprzeczność z (*) kończy dowód.

Na zakończenie zaprezentujemy twierdzenie o odwróceniu, pozwalające odczytać gęstość rozkładu za pomocą jego funkcji charakterystycznej. Analogiczny fakt dla zmiennych dyskretnych jest treścią zadania 10 poniżej.

Twierdzenie 2.5

Załóżmy, że P jest rozkładem prawdopodobieństwa w \mathbb{R}^{d} o funkcji charakterystycznej \varphi _{P}. Wówczas jeśli \int _{{\mathbb{R}^{d}}}|\varphi _{P}(t)|dt<\infty, to P ma ciągłą ograniczoną gęstość g daną wzorem

g(x)=\frac{1}{(2\pi)^{d}}\int _{{\mathbb{R}^{d}}}e^{{-i(t,x)}}\varphi _{P}(t)dt.
Dowód:

Rozważmy funkcję

\begin{split} g_{\varepsilon}(x)&=\frac{1}{(2\pi)^{d}}\int _{{\mathbb{R}^{d}}}e^{{-i(t,x)}}\varphi _{P}(t)e^{{-|t|^{2}\varepsilon^{2}/2}}dt\\
&=\frac{1}{(2\pi)^{d}}\int _{{\mathbb{R}^{d}}}e^{{-i(t,x)}}\int _{{\mathbb{R}^{d}}}e^{{i(t,y)}}P(dy)e^{{-|t|^{2}\varepsilon^{2}/2}}dt\\
&=\frac{1}{(2\pi)^{{d/2}}\varepsilon^{{d}}}\int _{{\mathbb{R}^{d}}}\frac{\varepsilon^{d}}{(2\pi)^{{d/2}}}\int _{{\mathbb{R}^{d}}}e^{{i(t,y-x)}}e^{{-|t|^{2}\varepsilon^{2}/2}}dtP(dy)\\
&=\frac{1}{(2\pi)^{{d/2}}\varepsilon^{{d}}}\int _{{\mathbb{R}^{d}}}e^{{-|y-x|^{2}/(2\varepsilon^{2})}}P(dy),\end{split}

gdzie w trzecim przejściu skorzystaliśmy z twierdzenia Fubiniego (dzięki czynnikowi e^{{-|t|^{2}\varepsilon^{2}/2}} wyrażenie podcałkowe jest całkowalne), a w czwartym użyliśmy faktu, iż wewnętrzna całka to funkcja charakterystyczna rozkładu N(0,\varepsilon^{{-2}}) w punkcie y-x. Jak widać, ostatnie wyrażenie to splot rozkładu P z rozkładem N(0,\varepsilon^{2}), w punkcie x; innymi słowy, jeśli X, Y są niezależnymi zmiennymi o rozkładach P i N(0,1), odpowiednio, to X+\varepsilon Y ma rozkład z gęstością g_{\varepsilon}. Na mocy całkowalności funkcji charakterystycznej i twierdzenia Lebesgue'a, mamy g_{\varepsilon}(x)\to g(x) dla każdego x\in\mathbb{R}. Wykażemy teraz, że \int _{{\mathbb{R}^{d}}}g=1. Oczywiście, na mocy lematu Fatou, \int _{{\mathbb{R}^{d}}}g\leq 1. By udowodnić nierówność przeciwną, weźmy \delta>0 oraz taką liczbę M>0, by P((-M,M))>1-\delta. Ponieważ X+\varepsilon Y\Rightarrow X\sim P, to

1-\delta\leq\liminf _{{\varepsilon\to 0+}}\mathbb{P}(X+\varepsilon Y\in(-M,M))=\liminf _{{\varepsilon\to 0+}}\int _{{-M}}^{M}g_{\varepsilon}(x)dx=\int _{{-M}}^{M}g(x)dx,

i z dowolności \delta dostajemy, iż g jest gęstością. Wystarczy teraz skorzystać z zadania 7 z pierwszego rozdziału: punktowa zbieżność g_{\varepsilon}\to g pociąga za sobą, iż (X+\varepsilon Y)_{\varepsilon} zbiega, przy \varepsilon\to 0+, do rozkładu o gęstości g; stąd teza.

2.4. Zadania

1. Rozstrzygnąć, czy podane niżej funkcje są funkcjami charakterystycznymi i jeśli tak, podać odpowiedni rozkład.

\text{a)}\ \cos t,\qquad\text{b)}\ \cos^{2}t,\qquad\text{c)}\ \frac{1}{4}(1+e^{{it}})^{2},\qquad\text{d)}\ \frac{1+\cos t}{2},\ \qquad\text{e)}\ (2-e^{{it}})^{{-1}}.

2. Niech \phi _{1}, \phi _{2}, \ldots, \phi _{n} będą funkcjami charakterystycznymi pewnych rozkładów. Udowodnić, iż dowolna kombinacja wypukła tych funkcji jest funkcją charakterystyczną pewnego rozkładu.

3. Dany jest ciąg (X_{n}) niezależnych zmiennych losowych o tym samym rozkładzie. Zmienna losowa N jest od nich niezależna i ma rozkład Poissona z parametrem \lambda. Wyznaczyć funkcję charakterystyczną zmiennej X_{1}+X_{2}+\ldots+X_{N}.

4. Niech \phi będzie funkcją charakterystyczną pewnego rozkładu. Rostrzygnąć, czy

\text{a) }\phi^{2},\qquad\text{b) Re}\phi,\qquad\text{c)
}|\phi|^{2},\qquad\text{d) }|\phi|

są funkcjami charakterystycznymi.

5. Zmienne X,\, Y są niezależne, przy czym X oraz X+Y mają rozkłady normalne. Udowodnić, że Y ma rozkład normalny lub jest stała p.n..

6. Zmienne losowe X,\, Y są niezależne, przy czym X ma rozkład jednostajny U(0,1), a Y ma rozkład zadany przez

\mathbb{P}(Y=k)=\frac{1}{n},\qquad\quad k=0,\, 1,\, 2,\,\ldots,\, n-1.

Wyznaczyć rozkład zmiennej X+Y.

7. Zmienne losowe X_{1},\, X_{2},\,\ldots,\, X_{n} są niezależne i mają ten sam rozkład, przy czym zmienna X_{1}+X_{2}+\ldots+X_{n} ma rozkład normalny \mathcal{N}(0,1). Wyznaczyć rozkład zmiennych X_{i}.

8. Zmienna losowa X ma rozkład jednostajny U(-1,1). Czy istnieje niezależna od niej zmienna Y taka, że rozkłady zmiennych X+Y oraz \frac{1}{2}Y są takie same?

9. Funkcja charakterystyczna zmiennej losowej X ma drugą pochodną w zerze. Udowodnić, że \mathbb{E}X^{2}<\infty.

10. Zmienna losowa X przyjmuje wartości całkowite. Udowodnić, że

\mathbb{P}(X=k)=\frac{1}{2\pi}\int _{{-\pi}}^{\pi}e^{{-ikt}}\phi _{X}(t)dt,\qquad k\in\mathbb{Z}.

11. Udowodnić, że dla p>2 funkcja \phi(t)=e^{{-|t|^{p}}} nie jest funkcją charakterystyczną żadnego rozkładu.

12. Udowodnić, że \phi(t)=e^{{-|t|}} jest funkcją charakterystyczną rozkładu Cauchy'ego w \mathbb{R}, tzn. rozkładu o gęstości

g(x)=\frac{1}{\pi}\frac{1}{1+x^{2}}.

13. Niech X_{1}, X_{2}, \ldots będą niezależnymi zmiennymi losowymi o rozkładzie jednostajnym na przedziale [-1,1]. Zdefiniujmy

Y_{n}=\frac{\mbox{sgn}\; X_{n}}{|X_{n}|^{{1/\alpha}}},\qquad n=1,\, 2,\,\ldots,

gdzie \alpha\in(0,2) jest ustalone. Udowodnić, że ciąg

\frac{Y_{1}+Y_{2}+\ldots+Y_{n}}{n^{{1/\alpha}}}

jest zbieżny według rozkładu i wyznaczyć funkcję charakterystyczną rozkładu granicznego.

14. Udowodnić, że jeśli P_{n} (n=1,\, 2,\,\ldots) są rozkładami Gaussa w \mathbb{R}^{d} i P_{n}\Rightarrow P, to P jest rozkładem Gaussa.

15. Rzucamy monetą, dla której prawdopodobieństwo wypadnięcia orła wynosi p, aż do momentu, gdy uzyskamy n orłów (łącznie, niekoniecznie pod rząd). Niech X_{p} oznacza liczbę rzutów. Udowodnić, że (2pX_{p}) jest zbieżny według rozkładu gdy p\to 0.

16. Niech X będzie zmienną losową o funkcji charakterystycznej \varphi _{X}. Udowodnić, że następujące warunki są równoważne.

(i) Istnieje a\neq 0 takie, że |\varphi _{X}(a)|=1.

(ii) Istnieją b,\, c\in\mathbb{R} takie, że zmienna X jest skoncentrowana na zbiorze \{ ck+b:k\in\mathbb{Z}\}.

17. Dany jest ciąg (X_{n}) niezależnych zmiennych losowych o tym samym rozkładzie, zadanym przez \mathbb{P}(X_{n}=0)=\mathbb{P}(X_{n}=1)=1/2. Wykazać, że szereg \sum _{{n=1}}^{\infty}2^{{-n}}X_{n} jest zbieżny p.n. i wyznaczyć rozkład sumy tego szeregu.

18. Dla a\in\mathbb{R}, niech

\varphi _{a}(t)=\begin{cases}1+a|x|&\text{jeśli }|x|\leq 1,\\
1+a&\text{jeśli }|x|>1.\end{cases}

Dla jakich wartości parametru a funkcja \varphi _{a} jest funkcją charakterystyczną rozkładu pewnej zmiennej losowej?

19. Załóżmy, że \mu jest rozkładem prawdopodobieństwa o funkcji charakterystycznej \varphi. Udowodnić, że dla dowolnego r>0 zachodzi nierówność

\mu([-r,r])\geq 1-\frac{r}{2}\int^{{2/r}}_{{-2/r}}(1-\varphi(s))\mbox{d}s

oraz

\mu([0,r])\leq r\int _{{-\pi/2r}}^{{\pi/2r}}|\varphi(s)|\mbox{d}s.

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego.

Projekt współfinansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego i przez Uniwersytet Warszawski.