Zagadnienia

4.1 Metody skalowania danych
4.2 Własności
4.3 Przykłady w programie R

4. Skalowanie wielowymiarowe

Skalowanie wielowymiarowe pozwala na redukcję wymiaru cech. Dla macierzy danych:

X=X1TX2T…XnTn×p

będziemy chcieli zrzutować ,,optymalnie” dane na Rk, czyli zmniejszyć macierz X do Z⌃ o wymiarch n×k, k<p.

Optymalność zdefiniujemy w kategoriach macierzy odległości lub podobieństwa dla n obiektów. Zadaniem będzie znalezienie optymalnej reprezentacji obiektów w Rk.

Definicja 4.1

Macierz odległości to taka macierz, która spełnia własności:

D=di⁢ji,j=1n,⁢di⁢j≥0,⁢di⁢j=dj⁢i,⁢di⁢i=0.

Macierz podobieństwa jest macierzą konstruowaną w sposób przeciwstawny do macierzy odległości o własnościach:

C=ci⁢ji,j=1n,⁢ci⁢j=cj⁢i,⁢ci⁢i≥ci⁢j⁢ ⁢∀i,j.

4.1. Metody skalowania danych

Dla macierzy danych X o wymiarach n×p, zdefiniujmy D jako macierz odległości euklidesowych pomiędzy obiektami:

di⁢j2=Xi-Xj2.

Classical multidimensional scaling:

Z^1,…,Z^n=minZ1,…,Zn∈Rk⁡ ⁢∑i≠jdi⁢j2-Zi-Zj2;
Sammon scaling:

Z^1,…,Z^n=minZ1,…,Zn∈Rk⁡ ⁢1∑k≠ldk⁢l⁢∑i≠jdi⁢j-Zi-Zj2di⁢j=

=minZ1,…,Zn∈Rk⁡ ⁢∑i≠jdi⁢j-Zi-Zjdi⁢j2⁢di⁢j∑k≠ldk⁢l;
Kruskal-Shepard scaling:

Z^1,…,Z^n=minZ1,…,Zn∈Rk⁡ ⁢∑i≠jdi⁢j-Zi-Zj2.

4.2. Własności

Niech L oznacza macierz ortogonalną p×p, L=L1,L2, L1 o wymiarze p×k. Oznaczmy Z^=X⁢L1, czyli rzut X na Rk. Zdefiniujmy macierz odległości dla Z^ jako D^=d^r⁢s. Zauważmy, że:

dr⁢s2=Xr-Xs2=LT⁢Xr-Xs2,

ponieważ mnożenie wektora przez macierz ortogonalną nie zmienia jego normy. Mamy więc:

dr⁢s2=∑j=1pXr⁢j-Xs⁢j2=∑j=1pljT⁢Xr-Xs2≥∑j=1kljT⁢Xr-Xs2=d^r⁢s2.

Stwierdzenie 4.1

Rzut X na k pierwszych składowych głównych minimalizuje wyrażenie ∑r≠sdr⁢s2-d^r⁢s2 wśród wszystkich rzutów X⁢L1. Jest więc rozwiązaniem zadania classical multidimensional scaling.

Przyjrzyjmy się następującej macierzy:

∑r,s=1nXr-Xs⁢Xr-XsT=

dla X¯=1n⁢∑i=1nXi,

=2n∑r=1n(Xr-X¯)(Xr-X¯)T-2∑r=1n(Xr-X¯)∑s=1nXs-X¯T︸=0pT=

=2n (∑r=1nXr⁢1-X¯.12…∑r=1nXr⁢1-X¯.1⁢Xr⁢p-X¯.p………∑r=1nXr⁢p-X¯.p⁢Xr⁢1-X¯.1…∑r=1nXr⁢p-X¯.p2)+0=

=2⁢n⁢n⁢S,

gdzie S jest macierzą kowariancji próbkowej (estymator obciążony).

Wróćmy do minimalizacji wyrażenia:

∑r,s=1ndr⁢s2-d^r⁢s2=∑r,s=1ndr⁢s2︸p⁢ współczynników-∑r,s=1nd^r⁢s2︸k⁢ współczynników=

=∑r,s=1n∑j=k+1pljT⁢Xr-Xs2︸zostaje ⁢p-k⁢ współczynników.

Ponieważ ∑r,s=1ndr⁢s2 jest stałą, zadanie minimalizacji wyrażenia ∑r,s=1ndr⁢s2-d^r⁢s2 jest równoważne zadaniu maksymalizacji ∑r,s=1nd^r⁢s2. Maksymalizujemy po ortogonalnym układzie wektorów l1,…,lk wyrażenie:

∑r,s=1n∑j=1kljT⁢Xr-Xs⁢Xr-XsT⁢lj=

=∑j=1kljT[∑r,s=1n(Xr-Xs)(Xr-Xs)T]lj=

=2n2∑j=1kljTSlj=

korzystając z rozkładu spektralnego S,

=2n2∑j=1kljT(∑i=1pλiviviT)lj=

=2⁢n2⁢∑j=1k∑i=1pλi⁢viT⁢lj2.

Dalszy dowód przebiega analogicznie do dowodu stwierdzenia 3.6. Można zauważyć związek pomiędzy własnościami składowych głównych dla podejścia populacyjnego i próbkowego.

∎

4.3. Przykłady w programie R

Skalowanie wielowymiarowe:

porównanie skalowania wielowymiarowego i analizy składowych głównych dla danych Kraby: http://www.mimuw.edu.pl/~pokar/StatystykaII/EKSPLORACJA/mds.R
porównanie skalowania wielowymiarowego i analizy składowych głównych dla danych Iris i Kraby: http://www.mimuw.edu.pl/~pokar/StatystykaII/EKSPLORACJA/rzutDanych.R

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Statystyka II wykłady