Błąd klasyfikacji

gdzie:

• Sukces: gdy obiekt jest prawidłowo klasyfikowany

• Błąd: gdy obiekt jest źle klasyfikowany

• Błąd klasyfikacji (lub odsetka błędów podczas klasyfikacji) powinien być wyznaczony na losowych i nieznanych danych.

• Są dwa rodzaje błędu:

• W “systemach uczących się”: minimalizujemy FP+FN lub miarę skuteczności (ang. Accuracy) (ACC):

  A⁢C⁢C=T⁢P+T⁢N/T⁢P+F⁢P+T⁢N+F⁢N

• W marketingu: maksymalizujemy TP.

• Podział zbioru danych na część treningową i testową;

• Uczenie lub poszukiwanie modelu

• Ocena klasyfikatora

• Niektóre metody uczenia działają w dwóch etapach:

• Etap 1: Buduje strukturę

• Etap 2: Optymalizuje parametry

Uwaga: Nie używaj danych testowych do budowy klasyfikatorów!

• Właściwa procedura powinna zawierać 3 zbiory: treningowe, walidacyjne i testowe

• Dane walidacyjne używane są do optymalizacji parametrów

• Przykład: S=750 sukcesów w N=1000 próbach

  • Estymowana skuteczność: 75⁢%

  • Jak bliska jest ta estymacja do prawdziwej skuteczności p?

  • Odp: z 80⁢% pewności możemy twierdzić, że p∈73.2,76.7

• Inny przykład: S=75 i N=100

  • Estymowana skuteczność: 75⁢%;

  • p∈69.1,80.1 z 80⁢% pewności.

• Rozpatrujemy rozkład Bernoulliego: p,p⁢1-p

• Oczekiwany odsetek sukcesu w N próbach: f=S/N

• Wartość oczekiwana i wariancja dla f:

  p,p⁢1-p/N

• Dla dużych N, zm.l. f ma rozkład zbliżony do rozkładu normalnego;

• –⁢z≤X≤z nazywamy przedziałem ufności na poziomie c⁢% dla zm.l. X o zerowej wartości oczekiwanej wtw:

  P-z≤X≤z=c

• Dla rozkładu symetrycznego mamy:

  P-z≤X≤z=1-2⁢PX≥z

• Wartość oczekiwana i wariancję dla f: p,p⁢1-p/N

• Normalizacja zm. f:

  f-pp⁢1-p/N

• Mamy równanie na p:

  P⁢r-z≤f-pp⁢1-p/N≤z=c

• Rozwiązanie dla p: p∈p1,p2, gdzie

  p1,2=f+z22⁢N±z⁢fN-f2N+z24⁢N21+z2N

Ogólna zasada:

• Im większy zbiór treningowy, tym lepszy jest klasyfikator

• Im większy jest zbiór testowy, tym lepiej można aproksymować błąd klasyfikacji.

Praktyczna rada: Kiedy proces oceniania się zakończy, wszystkie dane mogą być wykorzystywane do skonstruowania ostatecznego klasyfikatora

• Walidacja krzyżowa nie pozwala na wielokrotne testowanie tego samego obiektu

  • Krok 1: Podział zbioru danych na k równych podzbiorów

  • Krok 2: Testowanie każdego podzbioru używając pozostałych jako zbiór treningowy

• To się nazywa k-CV = k-fold cross-validation

• Zwykle obiekty są przetasowane przed dokonaniem podziału.

• Błędy wszystkich iteracji są uśrednione, aby otrzymać błąd globalny.

• Standardowa metoda ocena klasyfikatorów: 10-krotna walidacja krzyżowa

• Liczba 10 została wyznaczona w wyniku wielu doświadczeń.

• Walidacja pozwala na zmniejszenie długości przedziału ufności

• Jeszcze lepsza metoda oszacowania parametrów:

  Walidacja z powtórzeniami!

• Leave-one-out: przypadek szczególny walidacji krzyżowej Liczba grup = liczba przykładów

  • Dla n obiektów budujemy klasyfikator n razy

  • Najlepiej ocenia klasyfikatora

  • Obliczeniowo kosztowna metoda (wyjątek: k⁢N⁢N)

• Bootstraping: próbkuje ze zwracaniem, żeby stworzyć różne zbiory treningowe i testowe

  • Próbkuje ze zwracaniem n razy

  • Wybrane obiekty tworzą zbiór treningowy

  • Reszta – zbiór testowy.

• Miara “sensitivity” lub “true positive rate” (TPR)

  T⁢P⁢R=T⁢P/T⁢P+F⁢N

  czasem nazywa się też “recall” lub “hit rate”.

• Specificity (SPC) lub True Negative Rate S⁢P⁢C=T⁢N/F⁢P+T⁢N

• false positive rate (FPR): F⁢P⁢R=F⁢P/F⁢P+T⁢N=1-F⁢P⁢C

• positive predictive value (PPV) lub precision: P⁢P⁢V=T⁢P/T⁢P+F⁢P

• negative predictive value (NPV): N⁢P⁢V=T⁢N/T⁢N+F⁢N

• false discovery rate (FDR): F⁢D⁢R=F⁢P/F⁢P+T⁢P

• Matthew's correlation coefficient (MCC)

  M⁢C⁢C=T⁢P⁢T⁢N-F⁢P⁢F⁢NT⁢P+F⁢N⁢T⁢P+F⁢P⁢F⁢N+T⁢N⁢F⁢P+T⁢N

• F1 score: F⁢1=2⁢T⁢P/T⁢P+F⁢N+T⁢P+F⁢P lub

  1F⁢1=1r⁢e⁢c⁢a⁢l⁢l+1p⁢r⁢e⁢c⁢i⁢s⁢i⁢o⁢n2

Funkcje

• p - parametr określający początek listy rankingowej

• CPH - (ang. Cumulative Percentage Hit)

  C⁢P⁢H⁢p = część klasy docelowej znajdująca się wsród p⁢% pierwszych obiektów z listy rankingowej.

• zysk (ang. lift): L⁢i⁢f⁢t⁢p=C⁢P⁢H⁢p/p

• Trafienie lub true positive rate: T⁢P⁢R⁢p=T⁢P/T⁢P+F⁢N

• Odsetek fałszywych alarmów F⁢P⁢R⁢p=F⁢P/F⁢P+T⁢N

Wyróżnione krzywy

• Gain chart:

  O⁢x:p

  O⁢y:C⁢P⁢H⁢p

• Lift chart:

  O⁢x:p

  O⁢y:L⁢i⁢f⁢t⁢p

• ROC (receiver operating characteristic):

  O⁢x:F⁢P⁢R⁢p

  O⁢y:T⁢P⁢R⁢p