Zagadnienia

1.1 Zmienne ilościowe
- 1.1.1 Miary rozrzutu
- 1.1.2 Miary zależności
1.2 Zmienne porządkowe
- 1.2.1 Miary zależności
1.3 Zmienne jakościowe
1.4 Przykłady w programie R

1. Miary zależności i miary bliskości między zmiennymi

W rozdziale tym przedstawione zostaną wskaźniki liczbowe do analizy danych jedno- i dwuwymiarowych. Przypomniane zostaną miary rozrzutu oraz omówione miary zależności i miary bliskości między zmiennymi (cechami).

Główna różnica:

miary zależności: minimalne dla zmiennych niezależnych, maksymalne dla zmiennych identycznych;
miary bliskości (odległości, zróżnicowania): minimalne dla zmiennych identycznych;

Wygodnie jest podzielić zmienne na ilościowe (liczbowe), porządkowe i jakościowe (nominalne). Miary wprowadzone dla danych liczbowych, wykorzystujące wartości liczbowe, mają zastosowanie tylko dla nich. Miary dla zmiennych porządkowych nadają się również dla zmiennych liczbowych, ponieważ otrzymujemy je przez zamianę wartości cechy na kolejne liczby naturalne 1,2,…,n lub ułamki jednostajnie rozłożone na odcinku 0,1, czyli in-12⁢n, gdzie i=1,2,…,n. Miary dla zmiennych jakościowych są oparte na gęstościach i mają zastosowanie do wszystkich zmiennych.

Miary zależności i bliskości zostaną podzielone na symetryczne i niesymetryczne (zależność czy błąd nie muszą być relacjami symetrycznymi). Podsumowanie znajduje się w poniższej tabelce:

	Zmienne ilościowe	Zmienne porządkowe	Zmienne jakościowe
Miary zależności	Korelacja	Korelacja rang,	Wspólna
symetryczne		Współczynnik Kendalla	Informacja
Miary zależności			Współczynnik
niesymetryczne			Goodmana-Kruskala
Miary odległości	Błąd średniokwadratowy
symetryczne	E⁢X-Y2
Miary odległości	E⁢X-Y2E⁢Y2		χ2⁢p,q,
niesymetryczne			H(p\|\|q)

W dalszej części skryptu będziemy oznaczać wielkimi literami, np. X, Y zarówno zmienne losowe jak i ich realizacje. Rozróżnienie będzie wynikać z kontekstu.

Definicja 1.1

Próbą będziemy nazywali n realizacji zmiennej losowej: X=X1,…,Xn.

Średnią z próby będziemy oznaczać jako:

X¯=1n⁢∑i=1nXi⁢.

1.1. Zmienne ilościowe

Dla zmiennych ilościowych możemy zdefiniować kwantyle:

Definicja 1.2

Kwantyl rzędu p, p∈0,1:

φp⁢X=FX-1⁢p=inf⁡x:FX⁢x≥p,

gdzie FX oznacza dystrybuantę. Kwantyle rzędu 14,12, i 34 nazywamy kwartylami, z czego kwantyl rzędu 12 to mediana.

Estymatorami kwantyli dla próby X=X1,…,Xn są kwantyle próbkowe.

Definicja 1.3

Kwantyle próbkowe rzędu p dla próby n-elementowej, p∈0,1:

φ^p⁢X=12⁢X⌊p(n+1):n⌋+X⌈p(n+1):n⌉,

gdzie Xk:n oznacza k-ty element statystyki pozycyjnej: po uszeregowaniu niemalejąco wartości Xi⁢⁢i=1,…,n,⁢Xk:n oznacza k-tą wartość z n-elementowego ciągu. Funkcja ceiling zwraca najmniejszą liczbę całkowitą mniejszą od danej, a funkcja floor największą liczbę całkowitą mniejszą.

1.1.1. Miary rozrzutu

Wariancja:

wersja populacyjna

Var⁢X=E⁢X-E⁢X2⁢;

wersja próbkowa

var⁢X=1n⁢∑i=1nXi-X¯2⁢;

wersja próbkowa nieobciążona

var0⁢X=1n-1⁢∑i=1nXi-X¯2⁢.
Odchylenie standardowe:

wersja populacyjna

σ⁢X=Var⁢X⁢;

wersja próbkowa

σ⌃⁢X=var⁢X⁢;

wersja próbkowa niebciążona

σ⌃0⁢X=var0⁢X⁢.
MAD (Median of Absolute Deviation):

MAD⁢X=φ^12⁢X-φ^12⁢X.

Dla rozkładu normalnego, MAD≈1,35⁢σ.
IQR (Interquartile Range)

IQR⁢X=φ^34⁢X-φ^14⁢X⁢.

Dla rozkładu normalnego IQR≈0,6745⁢σ.

1.1.2. Miary zależności

Korelacja pomiędzy zmiennymi X i Y:

Cor⁢X,Y=E⁢X-E⁢X⁢Y-E⁢Yσ⁢X⁢σ⁢Y⁢.

Dla próby n-elemnentowej: X1,Y1,…,Xn,Yn korelacja próbkowa:

cor⁢X,Y=1n⁢∑i=1nXi-X¯⁢Yi-Y¯σ^⁢X⁢σ^⁢Y⁢;

korelacja próbkowa nieobciążona:

cor0⁢X,Y=1n-1⁢∑i=1nXi-X¯⁢Yi-Y¯σ^0⁢X⁢σ^0⁢Y⁢,

cor0⁢X,Y=cor⁢X,Y.

1.2. Zmienne porządkowe

Zmienne porządkowe to takie, dla których nie są ważne wartości, ale kolejność, w jakiej są ustawione. Z pojęciem zmiennej porządkowej ściśle wiąże się pojęcie rangi. Nadanie rang obserwacjom uniezależnia je od skali.

Definicja 1.4

Rangi dla obserwacji w próbie X=X1,…,Xn:

Ri=R⁢Xi=#⁢j:Xj<Xi+1+#⁢j:Xj=Xi2⁢.

Przykład 1.1

Dla X=2;3;2,5;2,5;1,5 rangi są równe:

X	2	3	2,5	2,5	1,5
R	2	5	3,5	3,5	1

1.2.1. Miary zależności

Korelacja rang (Spearmana):

corR⁢X,Y=cor⁢R⁢X,R⁢Y⁢,

gdzie R⁢X=R⁢X1,R⁢X2,…,R⁢Xn, R⁢Y=R⁢Y1,R⁢Y2,…,R⁢Yn.

Stwierdzenie 1.1

Załóżmy, że X,Y mają rozkłady o ciągłych i ściśle rosnących dystrybuantach. Wtedy:

1n⁢∑i=1nRi=n+12 ;
var(R(X))=1n-1⁢∑i=1nR⁢Xi-R¯2=n⁢n+112 ;
corR⁢X,Y=12n⁢n2-1⁢∑i=1nR⁢Xi⁢R⁢Yi-3⁢n+1n-1 ;
corR⁢X,Yp.n→Cor⁢FX⁢X,FY⁢Y ;
Jeżeli X,Y ma 2-wymiarowy rozkład normalny,

Cor⁢FX⁢X,FY⁢Y=6π⁢arcsin⁡Cor⁢X,Y2.

Współczynnik Kendala zależności między X a Y:

Załóżmy, że X1,X2 to zmienne losowe niezależne i o takim samym rozkładzie co X, Y1,Y2 niezależne o takim samym rozkładzie co Y. Niech:

X12=⁡1,X1>X2 ;0,X1=X2 ;-1,X1<X2 .⁢⁢⁢Y12=⁡1,Y1>Y2 ;0,Y1=Y2 ;-1,Y1<Y2 .⁢

τk⁢X,Y=Cor⁢X12,Y12=

=P((X1-X2)(Y1-Y2)>0)-P((X1-X2)(Y1-Y2)<0)P(X1≠X2)P(Y1≠Y2).

Jeśli X,Y mają ciągłe dystrybuanty, to

τk(X,Y)=P((X1-X2)(Y1-Y2)=1)-P((X1-X2)(Y1-Y2)=-1).

Wersja próbkowa τk:

τ^k=2n⁢n-1⁢∑1≤i≤j≤nsgn⁢Xi-Xj⁢Yi-Yj.

Uwaga 1.1

W programie R: cor(X, Y, method = c(”pearson”, ”kendall”, ”spearman”)) z domyślnie ustawioną opcją ”pearson”.

1.3. Zmienne jakościowe

W tej części omówione zostaną miary rozrzutu, zależności i bliskości oparte na gęstościach prawdopodobieństwa, wykorzystywane przede wszytkim do analizy cech jakościowych.

1.3.1. Miary rozrzutu

Entropia dla gęstości p o nośniku Ω:

H⁢p=-∫Ωln⁡p⁢v⁢p⁢v⁢d⁢v.

Jeśli X - zmienna losowa o gęstości pX, to H⁢X:=H⁢pX.

Uwaga 1.2

Różnice i podobieństwa między HX i VarX:

Załóżmy, że 0≤X≤1. Wtedy

Var⁢X=E⁢X2-E⁢X2≤E⁢X-E⁢X2≤14.

Zatem wariancja jest największa dla rozkładu dwupunktowego: p0=12=p1. Entropia natomiast jest największa dla rozkładu jednostajnego.
Załóżmy teraz, że X∼N⁢μ,σ2. Mamy:

ln⁡pX⁢x=ln⁡12⁢π⁢σ-x-μ22⁢σ2;

Var⁢X=∫x-μ2⁢pX⁢x⁢d⁢x=σ2;

H⁢X=-ln⁡12⁢π⁢σ+12=c⁢o⁢n⁢s⁢t+12⁢ln⁡σ2.

Współczynnik Giniego dla gęstości p:

V⁢p=∫Ω1-p⁢v⁢p⁢v⁢d⁢v=1-∫Ωp2⁢v⁢d⁢v.

Jeśli X - zmienna losowa o gęstości pX, to V⁢X=V⁢pX.

V(p) jest liniowym (rozwinięcie Taylora dla logarytmu naturalnego: ln⁡x≈x-1) przybliżeniem H(p).

1.3.2. Miary bliskości

Dla prostoty ograniczymy się w dalszej części wykładu do rozkładów dyskretnych zadanych gęstościami p i q o wspólnym nośniku Ω.

Odległość Kullbacka-Leiblera (względna entropia):

H(p||q)=∑i∈Ω(lnpiqi)pi.

Stwierdzenie 1.2

Własności Odległości Kullbacka-Leiblera (entropii względnej):

H(p||q)≥0 ;
H(p||q)=0⇔p=q .

Skorzystajmy z nierówności: ln⁡x≤x-1:

H(p||q)=∑i∈Ω(lnpiqi)pi=-∑i∈Ω(lnqipi)pi≥∑i∈Ω(1-qipi)pi=0.

Stąd otrzymujemy 1. Równość w ostatniej nierówności jest równoważna warunkowi qipi=1 dla wszystkich i, otrzymujemy 2.

∎

Odległość χ2 między rozkładami dyskretnymi zadanymi gęstościami p i q o wspólnym nośniku Ω:

χ2⁢p,q=∑i∈Ωpi-qipi2⁢pi=∑i∈Ωpi-qi2pi⁢. (1.1)

Odległość χ2 jest kwadratowym (rozwinięcie Taylora dla logarytmu: ln⁡1+x≈x-12⁢x2, gdzie za x wstawiamy qi-pipi) przybliżeniem H(p||q): H(p||q)≈12χ2(p,q).

1.3.3. Miary zależności

Niech X,Y będą zmiennymi o rozkładzie dyskretnym, niekoniecznie o tym samym nośniku Ω. Ponadto zdefiniujmy:

pi⁢j=PX=i,Y=j ;

pj|i=P(Y=j|X=i) ;

pi.=PX=i ;

p.j=PY=j ;

warunkowy współczynnik Giniego V(Y|X=i)=1-∑jp2j|i ;

warunkową entropię H(Y|X=i)=-∑j(lnpj|i)pj|i .

Zauważmy, że:

EV(Y|X)=∑iV(Y|X=i)pi.=1-∑ipi.∑jp2j|i;

EH(Y|X)=∑iH(Y|X=i)pi..

Współczynnik Goodmana-Kruskala (mówi on o tym, jak zmienił się rozrzut po zaobserwowaniu cechy X):

τ(Y|X)=V(Y)-E(V(Y|X))V⁢Y.

Zakładamy, że rozkład Y jest niezdegenerowany, czyli że V⁢Y>0.

Stwierdzenie 1.3

Własności Współczynnika Goodmana-Kruskala:

0≤τ≤1 ;
τ=0⇔X,Y niezależne.

Dla dowodu 2 zauważmy, że ,,=” w nierówności Jensena wyrazów pj|i=p.j ∀i,j jest równoważna niezależności X,Y.

∎

Wspólna informacja zawarta w X i Y:

M⁢X,Y=∑j=1l∑i=1kpi⁢j⁢ln⁡pi⁢jpi.⁢p.j

Stwierdzenie 1.4

Własności Wspólnej informacji:

M⁢X,Y≥0 ;
M⁢X,Y=0⇔X,Y niezależne.

Wynika z własności odległości Kullbacka-Leiblera (stwierdzenie 1.2), bo M(X,Y)=H(pi⁢j||(pi.p.j))

∎

Uwaga 1.3

Korzystając z przybliżenia rozwinięciem w szereg Taylora logarytmu: ln⁡1+x≈x-12⁢x2, otrzymujemy:

	M⁢X,Y=	-∑j∑ipi⁢j⁢ln⁡pi.⁢p.jpi⁢j-1+1≈
	=	-∑j⁢ipi.⁢p.jpi⁢j-1⁢pi⁢j-12⁢∑j⁢ipi.⁢p.jpi⁢j-12⁢pi⁢j=
	=	12⁢∑i⁢jpi.⁢p.j-pi⁢j2pi⁢j.

Ostatnie wyrażenie oraz statystyka χ2=∑i⁢jpi⁢j-pi.⁢p.j2pi.⁢p.j dla testowania niezależności mają podobną interpretację, chociaż różnica w treści matematycznej jest zasadnicza. Być może o podobieństwie wyrażeń decydują własności błędu względnego: jeśli błąd względny oszacowania a za pomocą b jest nie większy od ε, to błąd względny oszacowania b za pomocą a jest nie większy niż ε1-ε. Przy małym ε wyrażenia te są porównywalne.

Uwaga 1.4

Wspólna informacja dla rozkładu dwuwymiarowego normalnego, gdzie X,Y∼N⁢μXμY,σX2ρ⁢σX⁢σYρ⁢σX⁢σYσY2, jest równa:

M⁢X,Y=-ln⁡1-ρ2,

gdzie ρ=Cor⁢X,Y.

Jeżeli zamiast współczynnika Giniego we wzorze na współczynnik Goodmana-Kruskala użyjemy entropii, otrzymamy analogiczny współczynnik M(Y|X):

M(Y|X)=H(Y)-EH(Y|X)H⁢Y.

Stwierdzenie 1.5

M(Y|X)=H(Y)-EH(Y|X)H⁢Y=M⁢X,YH⁢Y.

	EH(Y\|X)	=-∑ipi.∑jpj\|ilnpj\|i=-∑i⁢jpi⁢jlnpj\|i=
		=-[∑i⁢jpi⁢jlnpi⁢j-∑i⁢jpi⁢jlnpi.]=
		=H(X,Y)+∑ilnpi.∑jpi⁢j=H(X,Y)+∑ilnpi.⋅pi.=
		=H⁢X,Y-H⁢X,

gdzie H⁢X,Y=H⁢PX,Y.

Zatem M(Y|X)=H⁢X+H⁢Y-H⁢X,YH⁢Y.

	M⁢X,Y=	∑i∑jpi⁢j⁢ln⁡pi⁢jpi.⁢p.j=
	=	∑i∑jpi⁢j⁢ln⁡pi⁢j-∑i∑jpi⁢j⁢ln⁡pi.⁢p.j=
	=	-H⁢X,Y-∑i∑jpi⁢j⁢ln⁡pi.-∑j∑ipi⁢j⁢ln⁡p.j=
	=	-H⁢X,Y-∑iln⁡pi.⁢pi.-∑jln⁡p.j⁢p.j=
	=	-H⁢X,Y+H⁢X+H⁢Y.

Zatem M⁢X,Y=H⁢X+H⁢Y-H⁢X,Y. Stąd M(Y|X)=M⁢X,YH⁢Y.

∎

1.4. Przykłady w programie R

Obliczanie spółczynnika Goodmana-Kruskala: http://www.mimuw.edu.pl/~pokar/StatystykaII/EKSPLORACJA/tauGK.R

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Statystyka II wykłady