Zagadnienia

2.1 Zmienne losowe o wartościach zespolonych.
2.2 Funkcje charakterystyczne
2.3 Przykłady.
2.4 Zadania

2. Funkcje charakterystyczne rozkładów prawdopodobieństwa w $\mathbb{R}^{d}$

Do tej pory zajmowaliśmy się zmiennymi losowymi o wartościach w $\mathbb{R}^{d}$ bądź, ogólniej, w przestrzeniach metrycznych (bez żadnej dodatkowej struktury). W tym rozdziale ważną rolę będą pełniły zmienne losowe o wartościach w $\mathbb{C}$ .

2.1. Zmienne losowe o wartościach zespolonych.

Załóżmy, że $(\Omega,\mathcal{F},\mathbb{P})$ jest przestrzenią probabilistyczną. Funkcja $X:\Omega\to\mathbb{C}$ jest zmienną losową, jeśli jest zmienną losową przy utożsamieniu $\mathbb{C}=\mathbb{R}^{2}$ - innymi słowy, jeśli $(X_{1},X_{2})=(\mbox{Re}X,\text{Im}X)$ jest zmienną losową w $\mathbb{R}^{2}$ . Jeśli $X_{1}$ oraz $X_{2}$ są całkowalne (co jest równoważne temu, że $\mathbb{E}|X|=\mathbb{E}\sqrt{X_{1}^{2}+X_{2}^{2}}<\infty$ ), to definiujemy $\mathbb{E}X=\mathbb{E}X_{1}+i\mathbb{E}X_{2}$ . Bez trudu dowodzimy, iż mają miejsce następujące fakty.

(i) Mamy $|\mathbb{E}X|\leq\mathbb{E}|X|$ .

(ii) Zachodzi twierdzenie Lebesgue'a o zmajoryzowanym przejściu do granicy pod znakiem wartości oczekiwanej.

(iii) Dla dowolnych $z_{1},\, z_{2}\in\mathbb{C}$ i dowolnych zespolonych zmiennych losowych $X,\, Y$ takich, że $\mathbb{E}X,\,\mathbb{E}Y$ istnieją, mamy

$\mathbb{E}(z_{1}X+z_{2}Y)=z_{1}\mathbb{E}X+z_{2}\mathbb{E}Y.$

2.2. Funkcje charakterystyczne

Przechodzimy do definicji głownego pojęcia tego rozdziału.

Definicja 2.1

(i) Załóżmy, że $P$ jest rozkładem prawdopodobieństwa w $\mathbb{R}^{d}$ . Funkcję

$\varphi _{P}(t)=\int _{{\mathbb{R}^{d}}}e^{{i(t,x)}}P(dx),\qquad t\in\mathbb{R}^{d},$

nazywamy funkcją charakterystyczną $P$ .

(ii) Załóżmy, że $X$ jest zmienną losową o wartościach w $\mathbb{R}^{d}$ , określoną na $(\Omega,\mathcal{F},\mathbb{P})$ . Wówczas $\varphi _{X}:=\varphi _{{P_{X}}}$ nazywamy funkcją charakterystyczną (rozkładu) zmiennej losowej $X$ .

Uwaga: Z twierdzenia o zamianie zmiennych wynika, iż $\varphi _{X}(t)=\mathbb{E}e^{{i(t,X)}}.$

Bezpośrednio z definicji widzimy, że funkcja charakterystyczna zmiennej losowej zależy tylko od rozkładu tej zmiennej.

Własności funkcji charakterystycznych.

1) Załóżmy, że $X$ jest $d$ -wymiarową zmienną losową. Wówczas $\varphi _{X}$ jest dobrze określona na całym $\mathbb{R}^{d}$ , ponadto $\varphi _{X}(0)=1$ oraz

$|\varphi _{X}(t)|\leq\mathbb{E}|e^{{i(t,X)}}|=1\qquad\mbox{ dla wszystkich }t\in\mathbb{R}^{d}.$

2) Załóżmy, że $X$ jest $d$ -wymiarową zmienną losową. Wówczas $\varphi _{X}$ jest jednostajnie ciągła na $\mathbb{R}^{d}$ ; istotnie, dla $h\in\mathbb{R}^{d}$ ,

$\begin{split}\sup _{{t\in\mathbb{R}^{d}}}|\varphi _{X}(t+h)-\varphi _{X}(t)|&=\sup _{{t\in\mathbb{R}^{d}}}|\mathbb{E}e^{{i(t+h,X)}}-\mathbb{E}e^{{i(t,X)}}|\\ &\leq\sup _{{t\in\mathbb{R}^{d}}}\mathbb{E}|e^{{i(t+h,X)}}-e^{{i(t,X)}}|\leq\mathbb{E}|e^{{i(h,X)}}-1|\to 0,\end{split}$

gdy $h\to 0$ .

3) Załóżmy, że $X$ jest $d$ -wymiarową zmienną losową. Wówczas $\varphi _{X}$ jest dodatnio określona, tzn. dla wszystkich $a_{1},\, a_{2},\,\ldots,\, a_{n}\in\mathbb{C}$ oraz $t_{1},\, t_{2},\,\ldots,\, t_{n}\in\mathbb{R}^{d}$ ,

$\sum _{{j,k}}\varphi _{X}(t_{j}-t_{k})a_{j}\overline{a_{k}}\geq 0.$

Istotnie, mamy

$\begin{split} 0&\leq\int _{{\mathbb{R}^{d}}}\left|\sum _{{j=1}}^{n}a_{j}e^{{i(t_{j},x)}}\right|^{2}P_{X}(dx)=\int _{{\mathbb{R}^{d}}}\sum _{{j,k}}a_{j}e^{{i(t_{j},x)}}\overline{a_{k}e^{{i(t_{k},x)}}}P_{X}(dx)\\ &=\sum _{{j,k}}a_{j}\overline{a_{k}}\int _{{\mathbb{R}^{d}}}e^{{i(t_{j},x)}}e^{{-i(t_{k},x)}}P_{X}(dx)=\sum _{{j,k}}\varphi _{X}(t_{j}-t_{k})a_{j}\overline{a_{k}}.\end{split}$

Powstaje naturalne pytanie: kiedy funkcja $\varphi:\mathbb{R}^{d}\to\mathbb{C}$ jest funkcją charakterystyczną pewnego rozkładu? Odpowiedź jest zawarta w następującym twierdzeniu.

Twierdzenie 2.1 (Bochner)

Funkcja $\varphi:\mathbb{R}^{d}\to\mathbb{C}$ jest funkcją charakterystyczną pewnego rozkładu prawdopodobieństwa w $\mathbb{R}^{d}$ wtedy i tylko wtedy, gdy jest ciągła, dodatnio określona oraz $\varphi(0)=1$ .

4) Załóżmy, że $X$ jest $d$ -wymiarową zmienną losową, $A$ jest macierzą $n\times d$ oraz $b\in\mathbb{R}^{n}$ . Wówczas

$\varphi _{{AX+b}}(t)=\mathbb{E}e^{{i(t,AX+b)}}=e^{{i(t,b)}}\mathbb{E}e^{{i(t,AX)}}=e^{{i(t,b)}}\mathbb{E}e^{{i(A^{T}t,X)}}=e^{{i(t,b)}}\varphi _{X}(A^{T}t).$

W szczególności, $\varphi _{{-X}}(t)=\varphi _{X}(-t)=\overline{\varphi _{X}(t)}$ . Oznacza to, iż jeśli $P_{X}=P_{{-X}}$ (rozkład zmiennej jest symetryczny), to $\varphi _{X}$ jest rzeczywista.

5) Załóżmy, że $X$ jest rzeczywistą zmienną losową taką, że $\mathbb{E}|X|^{k}<\infty$ dla pewnej liczby całkowitej dodatniej $k$ . Wówczas $\varphi _{X}$ ma $k$ -tą pochodną ciągłą i

$\varphi^{{(k)}}_{X}(t)=i^{k}\mathbb{E}(e^{{itX}}X^{k}).$

W szczególności, $\varphi _{X}^{{(k)}}(0)=i^{k}\mathbb{E}X^{k}$ .

Weźmy najpierw $k=1$ . Mamy

$\begin{split}\frac{\varphi _{X}(t+h)-\varphi _{X}(t)}{h}&=\mathbb{E}\frac{e^{{i(t+h)X}}-e^{{itX}}}{h}=\mathbb{E}e^{{itX}}\left(\frac{e^{{ihX}}-1}{h}\right).\end{split}$

Zauważmy, że $\lim _{{h\to 0}}h^{{-1}}(e^{{ihX}}-1)=iX$ oraz

$\begin{split}\left|e^{{itX}}\frac{e^{{ihX}}-1}{h}\right|&\leq\frac{|\cos(hX)-1|}{|h|}+\frac{\sin(hX)}{|h|}\\ &=|X|\left(\left|\sin({hX}/{2})\frac{\sin(hX/2)}{hX/2}\right|+\frac{|\sin(hX)|}{|hX|}\right)\leq 2|X|\in L^{1},\end{split}$

zatem z twierdzenia Lebesgue'a wynika teza. Dla $k>1$ dowód jest analogiczny, opierający się na indukcji.

Zachodzi następujący ogólniejszy fakt: jeśli $X=(X_{1},\, X_{2},\,\ldots,\, X_{d})$ jest $d$ -wymiarową zmienną losową taką, że $\mathbb{E}|X|^{k}<\infty$ , to $\varphi _{X}$ ma ciągłe pochodne cząstkowe $k$ -tego rzędu i

$\frac{\partial^{k}}{\partial t_{1}^{{j_{1}}}\partial t_{2}^{{j_{2}}}\ldots\partial t_{d}^{{j_{d}}}}\varphi _{X}(t_{1},\, t_{2},\,\ldots,\, t_{d})=i^{k}\mathbb{E}(e^{{i(t,X)}}X_{1}^{{j_{1}}}X_{2}^{{j_{2}}}\ldots X_{d}^{{j_{d}}}).$

6) Jeśli zmienne $X_{1}$ , $X_{2}$ , $\ldots$ , $X_{n}$ są niezależne, to

$\varphi _{{X_{1}+X_{2}+\ldots+X_{n}}}(t)=\varphi _{{X_{1}}}(t)\varphi _{{X_{2}}}(t)\ldots\varphi _{{X_{n}}}(t).$

Istotnie, mamy, iż $e^{{i(t,X_{1})}},\, e^{{i(t,X_{2})}},\,\ldots,\, e^{{i(t,X_{d})}}$ są niezależne, skąd

$\varphi _{{X_{1}+X_{2}+\ldots+X_{n}}}(t)=\mathbb{E}\prod _{{j=1}}^{n}e^{{i(t,X_{j})}}=\prod _{{j=1}}^{n}\mathbb{E}e^{{i(t,X_{j})}}=\prod _{{j=1}}^{n}\varphi _{{X_{j}}}(t).$

2.3. Przykłady.

(I) Załóżmy najpierw, że $X$ jest $d$ -wymiarową zmienną losową o rozkładzie skokowym i niech $S_{X}$ oznacza zbiór atomów. Bezpośrednio z definicji mamy, iż

$\varphi _{X}(t)=\sum _{{x\in S_{X}}}e^{{i(t,x)}}P_{X}(\{ x\}).$

W szczególności:

1) Jeśli $P_{X}=\delta _{a}$ , $a\in\mathbb{R}^{d}$ , to $\varphi _{X}(t)=e^{{i(t,a)}}$ . Co więcej, jeśli $a=0$ , to $\varphi _{X}\equiv 1$ .

2) Załóżmy, że $P_{X}=$ Pois $(\lambda)$ , $\lambda>0$ . Mamy

$\varphi _{X}(t)=\sum _{{k=0}}^{\infty}e^{{itk}}\frac{\lambda^{k}}{k!}e^{{-\lambda}}=e^{{-\lambda}}\sum _{{k=0}}^{\infty}\frac{(e^{{it}}\lambda)^{k}}{k!}=e^{{-\lambda}}e^{{\lambda e^{{it}}}}=e^{{\lambda(e^{{it}}-1)}}.$

3) $P_{X}=$ B $(n,p)$ . Niech $X_{1},\, X_{2},\,\ldots,\, X_{n}$ będą niezależnymi zmiennymi losowymi o tym samym rozkładzie $\mathbb{P}(X_{i}=1)=p=1-\mathbb{P}(X_{i}=0)$ . Ponieważ $X_{1}+X_{2}+\ldots+X_{n}$ ma ten sam rozkład co $X$ , to

$\begin{split}\varphi _{X}(t)&=\varphi _{{X_{1}+X_{2}+\ldots+X_{n}}}(t)=\varphi _{{X_{1}}}(t)\varphi _{{X_{2}}}(t)\ldots\varphi _{{X_{n}}}(t)\\ &=(\varphi _{{X_{1}}}(t))^{n}=(1+p(e^{{it}}-1))^{n}.\end{split}$

(II) Załóżmy teraz, że $X$ jest $d$ -wymiarową zmienną losową o rozkładzie ciągłym z gęstością $g$ . Z definicji mamy, iż

$\varphi _{X}(t)=\int _{{\mathbb{R}^{d}}}e^{{i(t,x)}}g(x)dx.$

W szczególności:

4) Jeśli $P_{X}$ jest rozkładem jednostajnym na przedziale $[a,b]$ , to

$\varphi _{X}(t)=\frac{1}{b-a}\int _{a}^{b}e^{{itx}}dx=\frac{1}{it(b-a)}(e^{{itb}}-e^{{ita}}).$

Jeśli $b=-a$ , to $\varphi _{X}$ jest funkcją rzeczywistą i $\varphi _{X}(t)=\frac{\sin(tb)}{tb}$ .

5) Jeśli $P_{X}=\mathcal{N}(m,\sigma^{2})$ , $m\in\mathbb{R},\,\sigma>0$ , to

$g(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-m)^{2}}{2\sigma^{2}}\right)$

oraz

$\varphi _{X}(t)=e^{{itm}}e^{{-\sigma^{2}t^{2}/2}}$

(*)

(w szczególności, dla standardowego rozkładu normalnego, dostajemy $\varphi(t)=e^{{-t^{2}/2}}$ ).

Istotnie, weźmy $X$ jak wyżej. Zmienna $(X-m)/\sigma$ ma standardowy rozkład normalny i

$\varphi _{X}(t)=\varphi _{{\sigma\frac{X-m}{\sigma}+m}}(t)=\varphi _{{(X-m)/\sigma}}(\sigma t)e^{{itm}}.$

Zatem wystarczy udowodnić wzór (*) dla rozkładu $\mathcal{N}(0,1)$ . Załóżmy więc, że $X$ ma ten rozkład i zauważmy najpierw, że $\varphi _{X}$ jest funkcją rzeczywistą, gdyż rozkład $X$ jest symetryczny. Zatem

$\varphi _{X}(t)=\int _{R}\cos(tx)\frac{1}{\sqrt{2\pi}}e^{{-x^{2}/2}}dx$

oraz

$\begin{split}\varphi _{X}^{{\prime}}(t)&=\int _{R}\sin(tx)\frac{1}{\sqrt{2\pi}}(-x)e^{{-x^{2}/2}}dx\\ &=\frac{1}{\sqrt{2\pi}}\sin(tx)e^{{-x^{2}/2}}\Big|_{{-\infty}}^{{\infty}}-\frac{1}{\sqrt{2\pi}}\int _{R}t\cos(tx)e^{{-x^{2}/2}}dx=-t\varphi _{X}(t).\end{split}$

Dodatkowo, jak wiemy, $\varphi _{X}(0)=1$ : stąd $\varphi _{X}(t)=e^{{-t^{2}/2}}$ .

Ogólniej, jeśli $X$ ma $d$ -wymiarowy rozkład normalny z gęstością

$g(x)=\frac{\sqrt{\mbox{det}A}}{(2\pi)^{{d/2}}}\exp\left(-\frac{1}{2}(A(x-m),x-m)\right)$

(gdzie $A$ to pewna macierz $d\times d$ symetryczna i dodatnio określona, a $m$ jest pewnym wektorem z $\mathbb{R}^{d}$ ), to

$\varphi _{X}(t)=e^{{i(m,t)}}e^{{(A^{{-1}}t,t)/2}}.$

Dowód tego faktu przeprowadzimy nieco później.

Przejdziemy teraz do twierdzenia o jednoznaczności: okazuje się, że funkcja charakterystyczna wyznacza rozkład jednoznacznie.

Twierdzenie 2.2 (O jednoznaczności)

Jeśli $P$ , $P^{{\prime}}$ są rozkładami prawdopodobieństwa w $\mathbb{R}^{d}$ takimi, że $\varphi _{P}(t)=\varphi _{{P^{{\prime}}}}(t)$ dla wszystkich $t\in\mathbb{R}^{d}$ , to $P=P^{{\prime}}$ .

Zanim podamy dowód, najpierw sformułujmy wniosek.

Stwierdzenie 2.1

Zmienne losowe $X_{1},\, X_{2},\,\ldots,\, X_{n}$ są niezależne wtedy i tylko wtedy, gdy

$\varphi _{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}(t_{1},\, t_{2},\,\ldots,\, t_{n})=\varphi _{{X_{1}}}(t_{1})\varphi _{{X_{2}}}(t_{2})\ldots\varphi _{{X_{n}}}(t_{n})$

(*)

dla wszystkich $(t_{1},\, t_{2},\,\ldots,\, t_{n})\in\mathbb{R}^{n}$ .

Dowód:

$\Rightarrow$ Mamy

$\begin{split}\varphi _{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}(t_{1},\, t_{2},\,\ldots,\, t_{n})&=\varphi _{{P_{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}}}(t_{1},\, t_{2},\,\ldots,\, t_{n})\\ &=\varphi _{{P_{{X_{1}}}\otimes P_{{X_{2}}}\otimes\ldots\otimes P_{{X_{n}}}}}(t_{1},\, t_{2},\,\ldots,\, t_{n})\\ &=\int _{{\mathbb{R}^{n}}}\exp\left(i\sum _{{j=1}}^{n}t_{j}x_{j}\right)P_{{X_{1}}}(dx_{1})\ldots P_{{X_{n}}}(dx_{n})\\ &=\prod _{{j=1}}^{n}\int _{R}e^{{it_{j}x_{j}}}P_{{X_{j}}}(dx_{j})=\prod _{{j=1}}^{n}\varphi _{{X_{j}}}(t_{j}),\end{split}$

gdzie w przedostatnim przejściu korzystaliśmy z twierdzenia Fubiniego.

$\Leftarrow$ Korzystając z przed chwilą udowodnionej implikacji, możemy zapisać (*) w postaci

$\varphi _{{P_{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}}}(t_{1},\, t_{2},\,\ldots,\, t_{n})=\varphi _{{P_{{X_{1}}}\otimes P_{{X_{2}}}\otimes\ldots\otimes P_{{X_{n}}}}}(t_{1},\, t_{2},\,\ldots,\, t_{n}),$

a więc twierdzenie o jednoznaczności daje

$P_{{(X_{1},\, X_{2},\,\ldots,\, X_{n})}}=P_{{X_{1}}}\otimes P_{{X_{2}}}\otimes\ldots\otimes P_{{X_{n}}},$

czyli niezależność zmiennych $X_{1},\, X_{2},\,\ldots,\, X_{n}$ .

∎

W dowodzie twierdzenia o jednoznaczności będziemy potrzebować następującego pomocniczego faktu.

Twierdzenie 2.3 (Weierstrass)

Załóżmy, że $f:\mathbb{R}\to\mathbb{R}$ jest ciągłą funkcją okresową. Wówczas istnieje ciąg $(w_{n})$ wielomianów trygonometrycznych o tym samym okresie co $f$ , zbieżny jednostajnie do $f$ . (wielomian trygonometryczny o okresie $T$ to funkcja $w:\mathbb{R}\to\mathbb{R}$ postaci $w(x)=\sum _{{k=0}}^{n}[\alpha _{k}\sin(kx\cdot 2\pi/T)+\beta _{k}\cos(kx\cdot 2\pi/T)].$ )

Dowód twierdzenia o jednoznaczności (tylko dla $d=1$ ):

Wystarczy udowodnić, że dla dowolnej funkcji $f\in C(\mathbb{R})$ mamy

$\int _{\mathbb{R}}fdP=\int _{\mathbb{R}}fdP^{{\prime}}.$

(*)

Z założenia, (*) zachodzi dla funkcji $x\mapsto e^{{itx}}$ , $x\in\mathbb{R}$ , przy każdym ustalonym $t\in\mathbb{R}$ . Zatem, z liniowości, powyższa równość ma miejsce dla dowolnego wielomianu trygonometrycznego; mamy bowiem $\sin(tx)=(e^{{itx}}-e^{{-itx}})/(2i)$ , $\cos(tx)=(e^{{itx}}+e^{{-itx}})/2$ . Na mocy twierdzenia Weierstrassa, (*) jest prawdziwa dla dowolnej funkcji ciągłej okresowej. Niech teraz $f$ będzie dowolną funkcją ciągłą i ograniczoną. Istnieje ciąg $(f_{n})$ funkcji ciągłych i okresowych o następującej własności:

$f(x)=f_{n}(x)\quad\text{ dla }x\in[-n,n]\quad\text{ oraz }\,\,\sup _{{x\in\mathbb{R}}}|f_{n}(x)|\leq\sup _{{x\in\mathbb{R}}}|f(x)|.$

Mamy, na mocy nierówności trójkąta,

$\begin{split}\left|\int _{\mathbb{R}}fdP-\int _{\mathbb{R}}fdP^{{\prime}}\right|&\leq\int _{\mathbb{R}}|f-f_{n}|dP+\left|\int _{\mathbb{R}}f_{n}dP-\int _{\mathbb{R}}f_{n}dP^{{\prime}}\right|+\int _{\mathbb{R}}|f-f_{n}|dP^{{\prime}}\\ &=\int _{{[-n,n]^{c}}}|f-f_{n}|dP+0+\int _{{[-n,n]^{c}}}|f-f_{n}|dP^{{\prime}}\\ &\leq 2\sup _{{x\in\mathbb{R}}}|f(x)|\big[P([-n,n]^{c})+P^{{\prime}}([-n,n]^{c})\big]\to 0\end{split}$

gdy $n\to\infty$ . Stąd otrzymujemy tezę. W przypadku ogólnym (tzn. dla $d>1$ ) dowód jest bardzo podobny; rolę twierdzenia Weierstrassa pełni ogólniejsze twierdzenie Stone'a-Weierstrassa.

∎

Rozkłady Gaussa (rozkłady normalne) w $\mathbb{R}^{d}$ . Załóżmy, że $X$ ma rozkład normalny w $\mathbb{R}^{d}$ , o wartości ozekiwanej $m$ i macierzy kowariancji $\Lambda$ . Udowodnimy, że

$\varphi _{X}(t)=e^{{i(t,m)-(\Lambda t,t)/2}}.$

Istotnie, niech $Y_{1}$ , $Y_{2}$ , $\ldots$ , $Y_{d}$ będą niezależnymi zmiennymi losowymi o standarowym rozkładzie normalnym na $\mathbb{R}$ i niech $Z=BY+m$ , gdzie $B$ jest macierzą $d\times d$ i $m\in\mathbb{R}^{d}$ . Mamy

$\varphi _{Y}(t)=e^{{-|t|^{2}/2}},$

$\varphi _{Z}(t)=e^{{i(t,m)}}\varphi _{Y}(B^{T}t)=e^{{i(t,m)-(B^{T}t,B^{T}t)/2}}=e^{{i(t,m)-(BB^{T}t,t)/2}}.$

Zauważmy, że $BB^{T}$ jest macierzą symetryczną, nieujemnie określoną. Co więcej, każda macierz symetryczna $d\times d$ nieujemnie określona da się ta zapisać; stąd, dla dowolnej nieujemnie określonej symetrycznej macierzy $\Lambda$ o wymiarach $d\times d$ i dowolnego wektora $m\in\mathbb{R}^{d}$ , funkcja

$\varphi(t)=e^{{i(t,m)-(\Lambda t,t)/2}}$

jest funkcją charakterystyczną dokładnie jednego rozkładu prawdopodobieństwa w $\mathbb{R}^{d}$ . Rozkłady tej postaci nazywamy rozkładami Gaussa w $\mathbb{R}^{d}$ . Zauważmy, że niektóre rozkłady Gaussa nie mają gęstości.

Bezpośrednio z definicji dostajemy następujące wnioski.

Stwierdzenie 2.2

Załóżmy, że $X$ ma rozkład Gaussa w $\mathbb{R}^{d}$ , a $A$ jest macierzą $n\times d$ i $m\in\mathbb{R}^{n}$ . Wówczas $AX+m$ ma rozkład Gaussa w $\mathbb{R}^{n}$ .

Stwierdzenie 2.3

Jeśli $X$ , $Y$ są niezależnymi zmiennymi losowymi o rozkładach Gaussa w $\mathbb{R}^{d}$ o wartościach oczekiwanych $m_{X}$ , $m_{Y}$ oraz macierzach kowariancji $\Lambda _{1}$ , $\Lambda _{2}$ , odpowiednio, to $X+Y$ ma rozkład Gaussa w $\mathbb{R}^{d}$ o wartości średniej $m_{X}+m_{Y}$ oraz macierzy $\Lambda _{1}+\Lambda _{2}$ .

Przechodzimy do kolejnego bardzo ważnego faktu, łączącego zbieżność według rozkładu ze zbieżnością funkcji charakterystycznych.

Twierdzenie 2.4 (Lévy - Cramera)

Załóżmy, że $P_{n}$ ( $n=1,\, 2,\,\ldots$ ) są rozkładami prawdopodobieństwa w $\mathbb{R}^{d}$ .

(i) Jeśli $P_{n}\Rightarrow P$ , to dla każdego $t\in\mathbb{R}^{d}$ , $\varphi _{{P_{n}}}(t)\to\varphi _{P}(t).$

(ii) Jeśli dla każdego $t\in\mathbb{R}^{d}$ mamy $\varphi _{{P_{n}}}(t)\to\varphi(t)$ , gdzie $\varphi$ -pewna funkcja ciągła w $0$ , to $\varphi=\varphi _{P}$ dla pewnego rozkładu $P$ i $P_{n}\Rightarrow P$ .

Dowód:

(i) Z definicji zbieżności według rozkładu mamy, dla dowolnego $t\in\mathbb{R}^{d}$ ,

$\begin{split}\varphi _{{P_{n}}}(t)&=\int _{{\mathbb{R}^{d}}}\cos(x,t)P_{n}(dx)+i\int _{{\mathbb{R}^{d}}}\sin(t,x)P_{n}(dx)\\ &\to\int _{{\mathbb{R}^{d}}}\cos(x,t)P(dx)+i\int _{{\mathbb{R}^{d}}}\sin(t,x)P(dx)=\int _{{\mathbb{R}^{d}}}e^{{i(t,x)}}(dx)=\varphi _{P}(t).\end{split}$

(ii) Zacznijmy od pomocniczego faktu.

Lemat 2.1

Jeśli $\varphi _{{P_{n}}}(t)\to\varphi(t)$ dla $t$ należących do pewnego otoczenia $0$ i $\varphi$ jest ciągła w $0$ , to rodzina $\{ P_{n}\} _{n}$ jest ciasna.

Dowód lematu:

Wprowadźmy oznaczenie $Q_{a}=[-a,a]\times[-a,a]\times\ldots[-a,a]\subset\mathbb{R}^{d}$ . Przypuśćmy, wbrew tezie, że rodzina $\{ P_{n}\}$ nie jest ciasna. Wówczas istnieje $\varepsilon>0$ o tej własności, iż przy każdym $k\in\mathbb{N}$ mamy $P_{{n_{k}}}(Q_{k})<1-\varepsilon$ dla pewnego $n_{k}$ . Zauważmy, iż $n_{k}\to\infty$ ; istotnie, w przeciwnym razie pewna liczba $m$ znalazłaby się w ciągu $(n_{k})_{k}$ nieskończenie wiele razy, co prowadziłoby do nierówności $P_{m}(\mathbb{R}^{d})\leq 1-\varepsilon$ ; sprzeczność.

Ponieważ $\varphi$ jest ciągła w $0$ , to Re $\varphi$ także ma tę własność; ponadto, na mocy zbieżności punktowej, Re $\varphi(0)=\varphi(0)=1$ . Wobec tego istnieje takie $a>0$ , że dla każdego $t\in Q_{a}$ mamy $\varphi _{{P_{n}}}(t)\to\varphi(t)$ oraz Re $\varphi(t)>1-\varepsilon/2$ . Dalej,

$\left|\int _{{Q_{a}}}\varphi(t)dt\right|\geq\int _{{Q_{a}}}\mbox{Re}\varphi(t)dt\geq(1-\varepsilon/2)(2a)^{d},$

$\begin{split}\left|\int _{{Q_{a}}}\varphi _{{P_{{n_{k}}}}}(t)dt\right|&=\left|\int _{{Q_{a}}}\int _{{\mathbb{R}^{d}}}e^{{i(t,x)}}P_{{n_{k}}}(dx)dt\right|=\left|\int _{{\mathbb{R}^{d}}}\int _{{Q_{a}}}e^{{i(t,x)}}dtP_{{n_{k}}}(dx)\right|\\ &\leq\int _{{Q_{k}}}\left|\int _{{Q_{a}}}e^{{i(t,x)}}dt\right|P_{{n_{k}}}(dx)+\int _{{Q_{k}^{c}}}\left|\int _{{Q_{a}}}e^{{i(t,x)}}dt\right|P_{{n_{k}}}(dx)\\ &\leq(2a)^{d}P_{{n_{k}}}(Q_{k})+T,\end{split}$

gdzie

$T=\int _{{Q_{k}^{c}}}\left|\int _{{Q_{a}}}e^{{i(t,x)}}dt\right|P_{{n_{k}}}(dx)=\int _{{Q_{k}^{c}}}\left|\prod _{{j=1}}^{d}\int _{{-a}}^{a}e^{{it_{j}x_{j}}}dt_{j}\right|P_{{n_{k}}}(dx).$

Ustalmy teraz $x\in Q_{k}^{c}$ . Istnieje współrzędna $x_{l}$ punktu $x$ większa co do modułu niż $k$ , zatem

$\prod _{{j=1}}^{d}\left|\int _{{-a}}^{a}e^{{it_{j}x_{j}}}dt_{j}\right|\leq(2a)^{{d-1}}\left|\frac{e^{{ia_{l}x_{l}}}-e^{{-ia_{l}x_{l}}}}{ix_{l}}\right|\leq 2(2a)^{{a-1}}/k.$

Stąd

$\begin{split}(2a)^{d}P_{{n_{k}}}(Q_{k})+T&\leq(2a)^{d}P_{{n_{k}}}(Q_{k})+2(2a)^{{d-1}}P_{{n_{k}}}(Q_{k}^{c})/k\\ &\leq(2a)^{d}(1-\varepsilon)+2(2a)^{{d-1}}/k\xrightarrow{k\to\infty}(2a)^{d}(1-\varepsilon).\end{split}$

Ale na mocy twierdzenia Lebesgue'a, $\int _{{Q_{a}}}\varphi _{{P_{{n_{k}}}}}(t)dt\to\int _{{Q_{a}}}\varphi(t)dt$ ; stąd sprzeczność: $(2a)^{d}(1-\varepsilon/2)<(2a)^{a}(1-\varepsilon)$ .

∎

Przechodzimy do dowodu części (ii) twierdzenia Levy-Cramera. Powyższy lemat oraz twierdzenie Prochorowa dają istnienie miary probabilistycznej $P$ na $\mathbb{R}^{d}$ oraz podciągu $(P_{{n_{k}}})_{k}$ zbieżnego słabo do $P$ . Na mocy części (i) twierdzenia Levy-Cramera, mamy $\varphi _{{P_{{n_{k}}}}}(t)\xrightarrow{k\to\infty}\varphi _{P}(t)$ , skąd $\varphi(t)=\varphi _{P}(t)$ . Pozostaje jeszcze tylko udowodnić, że $P_{n}\Rightarrow P$ . Przypuśćmy przeciwnie, iż dla pewnej funkcji $f\in C(R^{d})$ mamy $\int _{{\mathbb{R}^{d}}}fdP_{n}\not\to\int _{{\mathbb{R}^{d}}}fdP$ ; stąd, dla pewnego podciągu $(m_{k})$ ,

$\int _{{\mathbb{R}^{d}}}fdP_{{m_{k}}}\to\alpha\neq\int _{{\mathbb{R}^{d}}}fdP.$

(*)

Ale na mocy lematu, rodzina $(P_{{m_{k}}})$ także jest ciasna, stąd z twierdzenia Prochorowa istnieje podciąg $(m_{{k_{j}}})$ oraz miara probabilistyczna $P^{{\prime}}$ taka, że $P_{{m_{{k_{j}}}}}\Rightarrow P^{{\prime}}$ . Zatem, korzystając z (i), $\varphi _{{P_{{m_{{k_{j}}}}}}}(t)\to\varphi _{{P^{{\prime}}}}(t)$ , czyli $\varphi _{P}=\varphi _{{P^{{\prime}}}}$ . Sprzeczność z (*) kończy dowód.

∎

Na zakończenie zaprezentujemy twierdzenie o odwróceniu, pozwalające odczytać gęstość rozkładu za pomocą jego funkcji charakterystycznej. Analogiczny fakt dla zmiennych dyskretnych jest treścią zadania 10 poniżej.

Twierdzenie 2.5

Załóżmy, że $P$ jest rozkładem prawdopodobieństwa w $\mathbb{R}^{d}$ o funkcji charakterystycznej $\varphi _{P}$ . Wówczas jeśli $\int _{{\mathbb{R}^{d}}}|\varphi _{P}(t)|dt<\infty$ , to $P$ ma ciągłą ograniczoną gęstość $g$ daną wzorem

$g(x)=\frac{1}{(2\pi)^{d}}\int _{{\mathbb{R}^{d}}}e^{{-i(t,x)}}\varphi _{P}(t)dt.$

Dowód:

Rozważmy funkcję

$\begin{split} g_{\varepsilon}(x)&=\frac{1}{(2\pi)^{d}}\int _{{\mathbb{R}^{d}}}e^{{-i(t,x)}}\varphi _{P}(t)e^{{-|t|^{2}\varepsilon^{2}/2}}dt\\ &=\frac{1}{(2\pi)^{d}}\int _{{\mathbb{R}^{d}}}e^{{-i(t,x)}}\int _{{\mathbb{R}^{d}}}e^{{i(t,y)}}P(dy)e^{{-|t|^{2}\varepsilon^{2}/2}}dt\\ &=\frac{1}{(2\pi)^{{d/2}}\varepsilon^{{d}}}\int _{{\mathbb{R}^{d}}}\frac{\varepsilon^{d}}{(2\pi)^{{d/2}}}\int _{{\mathbb{R}^{d}}}e^{{i(t,y-x)}}e^{{-|t|^{2}\varepsilon^{2}/2}}dtP(dy)\\ &=\frac{1}{(2\pi)^{{d/2}}\varepsilon^{{d}}}\int _{{\mathbb{R}^{d}}}e^{{-|y-x|^{2}/(2\varepsilon^{2})}}P(dy),\end{split}$

gdzie w trzecim przejściu skorzystaliśmy z twierdzenia Fubiniego (dzięki czynnikowi $e^{{-|t|^{2}\varepsilon^{2}/2}}$ wyrażenie podcałkowe jest całkowalne), a w czwartym użyliśmy faktu, iż wewnętrzna całka to funkcja charakterystyczna rozkładu $N(0,\varepsilon^{{-2}})$ w punkcie $y-x$ . Jak widać, ostatnie wyrażenie to splot rozkładu $P$ z rozkładem $N(0,\varepsilon^{2})$ , w punkcie $x$ ; innymi słowy, jeśli $X$ , $Y$ są niezależnymi zmiennymi o rozkładach $P$ i $N(0,1)$ , odpowiednio, to $X+\varepsilon Y$ ma rozkład z gęstością $g_{\varepsilon}$ . Na mocy całkowalności funkcji charakterystycznej i twierdzenia Lebesgue'a, mamy $g_{\varepsilon}(x)\to g(x)$ dla każdego $x\in\mathbb{R}$ . Wykażemy teraz, że $\int _{{\mathbb{R}^{d}}}g=1$ . Oczywiście, na mocy lematu Fatou, $\int _{{\mathbb{R}^{d}}}g\leq 1$ . By udowodnić nierówność przeciwną, weźmy $\delta>0$ oraz taką liczbę $M>0$ , by $P((-M,M))>1-\delta$ . Ponieważ $X+\varepsilon Y\Rightarrow X\sim P$ , to

$1-\delta\leq\liminf _{{\varepsilon\to 0+}}\mathbb{P}(X+\varepsilon Y\in(-M,M))=\liminf _{{\varepsilon\to 0+}}\int _{{-M}}^{M}g_{\varepsilon}(x)dx=\int _{{-M}}^{M}g(x)dx,$

i z dowolności $\delta$ dostajemy, iż $g$ jest gęstością. Wystarczy teraz skorzystać z zadania 7 z pierwszego rozdziału: punktowa zbieżność $g_{\varepsilon}\to g$ pociąga za sobą, iż $(X+\varepsilon Y)_{\varepsilon}$ zbiega, przy $\varepsilon\to 0+$ , do rozkładu o gęstości $g$ ; stąd teza.

∎

2.4. Zadania

1. Rozstrzygnąć, czy podane niżej funkcje są funkcjami charakterystycznymi i jeśli tak, podać odpowiedni rozkład.

$\text{a)}\ \cos t,\qquad\text{b)}\ \cos^{2}t,\qquad\text{c)}\ \frac{1}{4}(1+e^{{it}})^{2},\qquad\text{d)}\ \frac{1+\cos t}{2},\ \qquad\text{e)}\ (2-e^{{it}})^{{-1}}.$

2. Niech $\phi _{1}$ , $\phi _{2}$ , $\ldots$ , $\phi _{n}$ będą funkcjami charakterystycznymi pewnych rozkładów. Udowodnić, iż dowolna kombinacja wypukła tych funkcji jest funkcją charakterystyczną pewnego rozkładu.

3. Dany jest ciąg $(X_{n})$ niezależnych zmiennych losowych o tym samym rozkładzie. Zmienna losowa $N$ jest od nich niezależna i ma rozkład Poissona z parametrem $\lambda$ . Wyznaczyć funkcję charakterystyczną zmiennej $X_{1}+X_{2}+\ldots+X_{N}$ .

4. Niech $\phi$ będzie funkcją charakterystyczną pewnego rozkładu. Rostrzygnąć, czy

$\text{a) }\phi^{2},\qquad\text{b) Re}\phi,\qquad\text{c) }|\phi|^{2},\qquad\text{d) }|\phi|$

są funkcjami charakterystycznymi.

5. Zmienne $X,\, Y$ są niezależne, przy czym $X$ oraz $X+Y$ mają rozkłady normalne. Udowodnić, że $Y$ ma rozkład normalny lub jest stała p.n..

6. Zmienne losowe $X,\, Y$ są niezależne, przy czym $X$ ma rozkład jednostajny $U(0,1)$ , a $Y$ ma rozkład zadany przez

$\mathbb{P}(Y=k)=\frac{1}{n},\qquad\quad k=0,\, 1,\, 2,\,\ldots,\, n-1.$

Wyznaczyć rozkład zmiennej $X+Y$ .

7. Zmienne losowe $X_{1},\, X_{2},\,\ldots,\, X_{n}$ są niezależne i mają ten sam rozkład, przy czym zmienna $X_{1}+X_{2}+\ldots+X_{n}$ ma rozkład normalny $\mathcal{N}(0,1)$ . Wyznaczyć rozkład zmiennych $X_{i}$ .

8. Zmienna losowa $X$ ma rozkład jednostajny $U(-1,1)$ . Czy istnieje niezależna od niej zmienna $Y$ taka, że rozkłady zmiennych $X+Y$ oraz $\frac{1}{2}Y$ są takie same?

9. Funkcja charakterystyczna zmiennej losowej $X$ ma drugą pochodną w zerze. Udowodnić, że $\mathbb{E}X^{2}<\infty$ .

10. Zmienna losowa $X$ przyjmuje wartości całkowite. Udowodnić, że

$\mathbb{P}(X=k)=\frac{1}{2\pi}\int _{{-\pi}}^{\pi}e^{{-ikt}}\phi _{X}(t)dt,\qquad k\in\mathbb{Z}.$

11. Udowodnić, że dla $p>2$ funkcja $\phi(t)=e^{{-|t|^{p}}}$ nie jest funkcją charakterystyczną żadnego rozkładu.

12. Udowodnić, że $\phi(t)=e^{{-|t|}}$ jest funkcją charakterystyczną rozkładu Cauchy'ego w $\mathbb{R}$ , tzn. rozkładu o gęstości

$g(x)=\frac{1}{\pi}\frac{1}{1+x^{2}}.$

13. Niech $X_{1}$ , $X_{2}$ , $\ldots$ będą niezależnymi zmiennymi losowymi o rozkładzie jednostajnym na przedziale $[-1,1]$ . Zdefiniujmy

$Y_{n}=\frac{\mbox{sgn}\; X_{n}}{|X_{n}|^{{1/\alpha}}},\qquad n=1,\, 2,\,\ldots,$

gdzie $\alpha\in(0,2)$ jest ustalone. Udowodnić, że ciąg

$\frac{Y_{1}+Y_{2}+\ldots+Y_{n}}{n^{{1/\alpha}}}$

jest zbieżny według rozkładu i wyznaczyć funkcję charakterystyczną rozkładu granicznego.

14. Udowodnić, że jeśli $P_{n}$ ( $n=1,\, 2,\,\ldots$ ) są rozkładami Gaussa w $\mathbb{R}^{d}$ i $P_{n}\Rightarrow P$ , to $P$ jest rozkładem Gaussa.

15. Rzucamy monetą, dla której prawdopodobieństwo wypadnięcia orła wynosi $p$ , aż do momentu, gdy uzyskamy $n$ orłów (łącznie, niekoniecznie pod rząd). Niech $X_{p}$ oznacza liczbę rzutów. Udowodnić, że $(2pX_{p})$ jest zbieżny według rozkładu gdy $p\to 0$ .

16. Niech $X$ będzie zmienną losową o funkcji charakterystycznej $\varphi _{X}$ . Udowodnić, że następujące warunki są równoważne.

(i) Istnieje $a\neq 0$ takie, że $|\varphi _{X}(a)|=1$ .

(ii) Istnieją $b,\, c\in\mathbb{R}$ takie, że zmienna $X$ jest skoncentrowana na zbiorze $\{ ck+b:k\in\mathbb{Z}\}$ .

17. Dany jest ciąg $(X_{n})$ niezależnych zmiennych losowych o tym samym rozkładzie, zadanym przez $\mathbb{P}(X_{n}=0)=\mathbb{P}(X_{n}=1)=1/2$ . Wykazać, że szereg $\sum _{{n=1}}^{\infty}2^{{-n}}X_{n}$ jest zbieżny p.n. i wyznaczyć rozkład sumy tego szeregu.

18. Dla $a\in\mathbb{R}$ , niech

$\varphi _{a}(t)=\begin{cases}1+a|x|&\text{jeśli }|x|\leq 1,\\ 1+a&\text{jeśli }|x|>1.\end{cases}$

Dla jakich wartości parametru $a$ funkcja $\varphi _{a}$ jest funkcją charakterystyczną rozkładu pewnej zmiennej losowej?

19. Załóżmy, że $\mu$ jest rozkładem prawdopodobieństwa o funkcji charakterystycznej $\varphi$ . Udowodnić, że dla dowolnego $r>0$ zachodzi nierówność

$\mu([-r,r])\geq 1-\frac{r}{2}\int^{{2/r}}_{{-2/r}}(1-\varphi(s))\mbox{d}s$

oraz

$\mu([0,r])\leq r\int _{{-\pi/2r}}^{{\pi/2r}}|\varphi(s)|\mbox{d}s.$

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Wykład z Rachunku Prawdopodobieństwa II

Zagadnienia

2. Funkcje charakterystyczne rozkładów prawdopodobieństwa w

2.1. Zmienne losowe o wartościach zespolonych.

2.2. Funkcje charakterystyczne

Definicja 2.1

Twierdzenie 2.1 (Bochner)

2.3. Przykłady.

Twierdzenie 2.2 (O jednoznaczności)

Stwierdzenie 2.1

Dowód:

Twierdzenie 2.3 (Weierstrass)

Dowód twierdzenia o jednoznaczności (tylko dla ):

Stwierdzenie 2.2

Stwierdzenie 2.3

Twierdzenie 2.4 (Lévy - Cramera)

Dowód:

Lemat 2.1

Dowód lematu:

Twierdzenie 2.5

Dowód:

2.4. Zadania

2. Funkcje charakterystyczne rozkładów prawdopodobieństwa w $\mathbb{R}^{d}$

Dowód twierdzenia o jednoznaczności (tylko dla $d=1$ ):