Zagadnienia

3. Metody oceny klasyfikatorów

3.1. Metody oceny klasyfikatorów

3.1.1. Skuteczność predykcji

\block

Błąd klasyfikacji

Błąd klasyfikacji=liczba błędówliczba obiektów testowych

gdzie:

  • Sukces: gdy obiekt jest prawidłowo klasyfikowany

  • Błąd: gdy obiekt jest źle klasyfikowany

  • Błąd klasyfikacji (lub odsetka błędów podczas klasyfikacji) powinien być wyznaczony na losowych i nieznanych danych.

  • Są dwa rodzaje błędu:

  • W “systemach uczących się”: minimalizujemy FP+FN lub miarę skuteczności (ang. Accuracy) (ACC):

    A⁢C⁢C=T⁢P+T⁢N/T⁢P+F⁢P+T⁢N+F⁢N
  • W marketingu: maksymalizujemy TP.

  • Podział zbioru danych na część treningową i testową;

  • Uczenie lub poszukiwanie modelu

  • Ocena klasyfikatora

  • Niektóre metody uczenia działają w dwóch etapach:

  • Etap 1: Buduje strukturę

  • Etap 2: Optymalizuje parametry

\block

Uwaga: Nie używaj danych testowych do budowy klasyfikatorów!

  • Właściwa procedura powinna zawierać 3 zbiory: treningowe, walidacyjne i testowe

  • Dane walidacyjne używane są do optymalizacji parametrów

3.1.2. Przedział ufności miar ocen

  • Przykład: S=750 sukcesów w N=1000 próbach

    • Estymowana skuteczność: 75⁢%

    • Jak bliska jest ta estymacja do prawdziwej skuteczności p?

    • Odp: z 80⁢% pewności możemy twierdzić, że p∈73.2,76.7

  • Inny przykład: S=75 i N=100

    • Estymowana skuteczność: 75⁢%;

    • p∈69.1,80.1 z 80⁢% pewności.

  • Rozpatrujemy rozkład Bernoulliego: p,p⁢1-p

  • Oczekiwany odsetek sukcesu w N próbach: f=S/N

  • Wartość oczekiwana i wariancja dla f:

    p,p⁢1-p/N
  • Dla dużych N, zm.l. f ma rozkład zbliżony do rozkładu normalnego;

  • –⁢z≤X≤z nazywamy przedziałem ufności na poziomie c⁢% dla zm.l. X o zerowej wartości oczekiwanej wtw:

    P-z≤X≤z=c
  • Dla rozkładu symetrycznego mamy:

    P-z≤X≤z=1-2⁢PX≥z
  • Wartość oczekiwana i wariancję dla f: p,p⁢1-p/N

  • Normalizacja zm. f:

    f-pp⁢1-p/N
  • Mamy równanie na p:

    P⁢r-z≤f-pp⁢1-p/N≤z=c
  • Rozwiązanie dla p: p∈p1,p2, gdzie

    p1,2=f+z22⁢N±z⁢fN-f2N+z24⁢N21+z2N

3.1.3. Metody walidacji danych

Ogólna zasada:

  • Im większy zbiór treningowy, tym lepszy jest klasyfikator

  • Im większy jest zbiór testowy, tym lepiej można aproksymować błąd klasyfikacji.

\block

Praktyczna rada: Kiedy proces oceniania się zakończy, wszystkie dane mogą być wykorzystywane do skonstruowania ostatecznego klasyfikatora

  • Walidacja krzyżowa nie pozwala na wielokrotne testowanie tego samego obiektu

    • Krok 1: Podział zbioru danych na k równych podzbiorów

    • Krok 2: Testowanie każdego podzbioru używając pozostałych jako zbiór treningowy

  • To się nazywa k-CV = k-fold cross-validation

  • Zwykle obiekty są przetasowane przed dokonaniem podziału.

  • Błędy wszystkich iteracji są uśrednione, aby otrzymać błąd globalny.

  • Standardowa metoda ocena klasyfikatorów: 10-krotna walidacja krzyżowa

  • Liczba 10 została wyznaczona w wyniku wielu doświadczeń.

  • Walidacja pozwala na zmniejszenie długości przedziału ufności

  • Jeszcze lepsza metoda oszacowania parametrów:

    Walidacja z powtórzeniami!

  • Leave-one-out: przypadek szczególny walidacji krzyżowej Liczba grup = liczba przykładów

    • Dla n obiektów budujemy klasyfikator n razy

    • Najlepiej ocenia klasyfikatora

    • Obliczeniowo kosztowna metoda (wyjątek: k⁢N⁢N)

  • Bootstraping: próbkuje ze zwracaniem, żeby stworzyć różne zbiory treningowe i testowe

    • Próbkuje ze zwracaniem n razy

    • Wybrane obiekty tworzą zbiór treningowy

    • Reszta – zbiór testowy.

3.1.4. Krzywy Lift i ROC

  • Miara “sensitivity” lub “true positive rate” (TPR)

    T⁢P⁢R=T⁢P/T⁢P+F⁢N

    czasem nazywa się też “recall” lub “hit rate”.

  • Specificity (SPC) lub True Negative Rate S⁢P⁢C=T⁢N/F⁢P+T⁢N

  • false positive rate (FPR): F⁢P⁢R=F⁢P/F⁢P+T⁢N=1-F⁢P⁢C

  • positive predictive value (PPV) lub precision: P⁢P⁢V=T⁢P/T⁢P+F⁢P

  • negative predictive value (NPV): N⁢P⁢V=T⁢N/T⁢N+F⁢N

  • false discovery rate (FDR): F⁢D⁢R=F⁢P/F⁢P+T⁢P

  • Matthew's correlation coefficient (MCC)

    M⁢C⁢C=T⁢P⁢T⁢N-F⁢P⁢F⁢NT⁢P+F⁢N⁢T⁢P+F⁢P⁢F⁢N+T⁢N⁢F⁢P+T⁢N
  • F1 score: F⁢1=2⁢T⁢P/T⁢P+F⁢N+T⁢P+F⁢P lub

    1F⁢1=1r⁢e⁢c⁢a⁢l⁢l+1p⁢r⁢e⁢c⁢i⁢s⁢i⁢o⁢n2
\block

Funkcje

  • p - parametr określający początek listy rankingowej

  • CPH - (ang. Cumulative Percentage Hit)

    C⁢P⁢H⁢p = część klasy docelowej znajdująca się wsród p⁢% pierwszych obiektów z listy rankingowej.

  • zysk (ang. lift): L⁢i⁢f⁢t⁢p=C⁢P⁢H⁢p/p

  • Trafienie lub true positive rate: T⁢P⁢R⁢p=T⁢P/T⁢P+F⁢N

  • Odsetek fałszywych alarmów F⁢P⁢R⁢p=F⁢P/F⁢P+T⁢N

\block

Wyróżnione krzywy

  • Gain chart:

    O⁢x:p

    O⁢y:C⁢P⁢H⁢p

  • Lift chart:

    O⁢x:p

    O⁢y:L⁢i⁢f⁢t⁢p

  • ROC (receiver operating characteristic):

    O⁢x:F⁢P⁢R⁢p

    O⁢y:T⁢P⁢R⁢p

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego.

Projekt współfinansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego i przez Uniwersytet Warszawski.