Omówimy model zaproponowany przez Rotha i Ereva [28]. Rozważamy dwuosobową GS z dodatnimi wypłatami. Gracz i ma ri,i=1,2 strategii. Każdej z nich jest przypisana zależna od czasu nieujemna liczba, która nazwiemy inklinacją (propensity) θi⁢j⁢t,⁢i=1,2,⁢k=1,…⁢ri. Jest to ”tendencja, skłonność” gracza i do grania strategią k. Każdemu graczowi jest w ten sposób przypisany wektor wag

Mając dany wektor wag σi⁢t będziemy mówili że gracz i stosuje (gra) w chwili t strategię mieszaną σi⁢t. Znajdziemy równanie ewolucji σi⁢t.

Niech si=si⁢t,⁢i=1,2 oznacza strategię czystą graną przez i w t, a (z pewną nieścisłością oznaczeń) πi≡πi⁢t wypłatę i gdy gracze grają tymi strategiami. Wprowadzimy też dla każdej strategii czystej si⁢k∈Ai,i=1,2,⁢k=1,…⁢ri jej funkcję indykatorową, pomnożoną przez wartość wypłaty (”skalowaną przez wypłatę”):

ψi⁢k=πi gdy si=si⁢k, czyli gdy w chwili t jest grana strategia si⁢k,⁢⁢i=1,2,

ψi⁢k=0 wpp.

Definiujemy dynamikę zmian inklinacji graczy:

Każda grana strategia otrzymuje wzmocnienie w wysokości uzyskanej z niej wypłaty. Jeżeli założymy że kazdy gracz ma staly poziom aspiracji równy zero, to równoważnie możemy powiedziec że wzmocnienie jest równe różnicy pomiędzy wypłata a poziomem aspiracji. W tym sensie model ten zakłada dodatnie wzmocnienie (positive stimulus). Istnieje cała gama modeli w których wzmocnienie może być ujemne oraz w których poziom aspiracji jest zmienną endogeniczną i może być inny dla każdego gracza, patrz np. [38, 23, 22].

Po przekształceniach algebraicznych otrzymujemy, zakładając jednostajną ograniczoność ψi⁢j,πi

gdzie Θi⁢t=∑k=1riθi⁢k⁢t, 0⁢a oznacza skladnik rzędu a. Ponieważ ψi⁢j,πi są zmiennymi losowymi (ich realizacje zależą od wybory strategii czystych przez graczy), więc mamy w ten sposób określony proces stochastyczny. Okazuje się że równanie na wartości oczekiwane przyrostów wag σi⁢k⁢t+1-σi⁢k⁢t są analogiczne do równań replikatorowych dla dwóch populacji. Dla gier 2×2 zostały udowodnione odpowiednie twierdzenia aproksymacyjne, patrz np. [21].

Formalna prostota modelu jest wynikiem minimalnych założeń o wiedzy i ”kognitywnych” umiejętnościach graczy–znają oni jedynie swoje wypłaty (np. z poprzedniej rundy) i na podstawie tej wiedzy podejmują decyzję o wyborze przyszłej akcji.

Jest to drugi podstawowy model uczenia przez wzmacnianie. Jest 2 graczy, każdy ma do wyboru dwie (takie same) akcje, każda z nich wybiera z pewnym prawdopodobieństwem. Po wyborze akcji i otrzymaniu wypłat każdy z graczy uaktualnia prawdopodobieństwa. Jeżeli wypłata jest wyższa od pewnego poziomu aspiracji to prawdopodobieństwo użycia w następnym kroku akcji zagranej poprzednio rośnie, wpp. maleje.

Niech y=y1,y2,⁢yi∈Ai,⁢i=1,2–profil strategii czystych graczy, ui⁢y1,y2–wypłata gracza i z takiego profilu. Niech p=p1,p2–profil strategii mieszanych graczy: pi oznacza prawdopodobieństwo grania pierwszej strategii przez gracza i.

Niech yn=y1n,y2n–profil strategii czystych zagrany w n–tym kroku. Definiujemy stymulus (stimulus) gracza i:

gdzie A⁢si oznacza ustalony poziom aspiracji gracza i,i=1,2.

Zauważmy że si∈-1,1–stymulus może być dodatni lub ujemny. Widać że do obliczenia stymulusa gracza potrzebna jest jego wypłata, poziom aspiracji oraz znajomość wypłat z wszystkich profili czystych, natomiast gracze nie znają wypłat i wyboru akcji przeciwników.

Stymulus posłuży nam do zdefiniowania (dyskretnej) dynamiki układu, czyli u nas do uaktualniania prawdopodobieństwa grania np. pierwszej strategii przez obu graczy.

Niech pi,yin+1 oznacza prawdopodobieństwo że gracz i w n+1 rundzie zagra yi. Dynamika ma postać:

jezeli si⁢yn≥0, oraz

jeżeli si⁢yn<0. Parametr li∈0,1 nazywamy tempem uczenia się (learning rate).

Prawdopodobieństwo akcji nie zagranej jest uaktualniane tak by w sumie z prawdopodobieństwem akcji zagranej dawały 1. Im większy iloczyn li⁢si⁢yn tym większa zmiana prawdopodobieństwa.

Otrzymaliśmy pewien model stochastyczny, ze stanem układu opisywanym przez wektor losowy p1,p2. Realizacja zmiennej losowej pi,⁢i=1,2 to prawdopodobieństwo zagrania przez gracza i w kolejnym kroku pierwszej z dwóch dostepnych mu strategii. Model ten jest dyskretnym w czasie procesem Markowa z ciagłą przestrzenią stanów.

Przedstawiony model obejmuje dowolne gry 2x2, niekoniecznie symetryczne.

Używając symulacji komputerowych Flache i Macy [4] znaleźli dwa rodzaje równowag w modelu BM, które nazwali selfreinforcing equilibria oraz selfcorrecting equilibria. Te równowagi profile strategii do których dąży układ. Matematyczną formalizację tych pojęć można znaleźć w [12].

O imitacji mówimy gdy gracz w następnej rundzie rozgrywanej gry symetrycznej gra pewną strategią innego gracza (adoptuje, imituje innego gracza). Wybór strategii jest na ogół uzależniony od wypłaty uzyskiwanej przez poszczególne strategie. Możliwość imitowania zależy od modelu. Może być opisana przez pewne stałe prawdopodobieństwo, może zależeć od tego czy wypłata jest czy nie powyżej pewnego progu itd.

Po otrzymaniu możliwości imitacji gracz wybiera gracza którego strategię może imitować. Wybór gracza może być losowy, a może zależeć od wypłat uzyskiwanych przez innych graczy w poprzednich rundach. Kandydaci do ”bycia imitowanym” mogą być brani z calego zbioru graczy lub też–w przypadku gier ze strukturą przestrzenną–z odpowiednio zdefiniowanego otoczenia gracza imitującego. Można też np. wprowadzić mozliwość eksperymentowania przez dopuszczenie wyboru losowego: gracz imituje strategię przeciwnika z pewnym prawdopodobieństwem.

W modelach lepszej (better response) i najlepszej odpowiedzi (best response) zakładamy że każdy gracz zna wypłatę jaką otrzymałby z każdego możliwego wybory strategii przez wszystkich graczy oraz zna akcje wszystkich graczy w poprzedniej rundzie. Przy wyborze swojej kolejnej akcji każdy gracz zakłada że akcje przeciwników nie ulegną zmianie. Można to nazywać statycznym postrzeganiem otoczenia. Modele te opisuje się też przymiotnikiem (myopic) co odzwierciedla fakt że gracze nie biorą pod uwagę wpływu aktualnego wyboru strategii na przyszłe wybory i wypłaty uczestników gry.

W modelu lepszej odpowiedzi gracz identyfikuje wszystkie strategie które dadzą mu wyższą niż aktualna wypłate i wybiera losowo jedną z nich. W modelu najlepszej odpowiedzi gracz wybiera strategię tak aby zmaksymalizować swoja wypłatę przy oczekiwanych przez niego strategiach którymi będą grali pozostali gracze.

Jest to najstarszy i jeden z najbardziej popularnych modeli uczenia. W porównaniu z poprzednim modelem (naj)lepszych odpowiedzi mamy dalej do czynienia ze statycznym postrzeganiem otoczenia, natomiast gracze wykazują wyższy stopień ”wyrafinowania”. Po pierwsze każdy gracz zna całą dotychczasową historię gry, tzn. wszystkie akcje grane przez wszystkich graczy. Po drugie każdy gracz zakłada że każdy z pozostałych graczy będzie grał w następnej rundzie pewną strategią mieszaną, którą definiuje następujaco. Prawdopodobieństwo każdej dostepnej strategii czystej każdego z pozostałych graczy jest równe częstości dotychczasowego jej używania przez tego gracza. W kolejnej rundzie ”uczący się” gracz wybiera najlepszą odpowiedź na tak zdefiniowany profil strategii mieszanych gry.

W przypadku dwuosobowych gier strategicznych procedura gry fikcyjnej zakłada że gracz zapamiętuje wszystkie grane przez przeciwnika strategie czyste (historię gry) i na jej podstawie tworzy rozkład prawdopodobieństwa grania przez przeciwnika poszczególnych strategii czystych–strategię mieszaną–w nastepnej rundzie, w której gra najlepszą odpowiedź na tę strategię mieszaną.

Można pokazać że w przypadku gry z więcej niż jednym przeciwnikiem, przy założeniu że gracz będzie przewidywał rozkład łączny, finalnym efektem procedury jest na ogół równowaga skorelowana.

Dla wielu typów gier procedura gry fikcyjnej jest zbieżna to równowagi Nasha. Istnieją jednak proste kontrprzykłady, związane z brakiem ciągłości odwzorowania najlepszej odpowiedzi, z których pierwszy był skonstruowany w pracy [32]. Metody ”uzbieżniania” procedury polegają na wprowadzeniu różnych typów niedużych zaburzeń do gry, lub rozważanie populacji graczy zamiast jednego, patrz [25].

Równowaga Nasha została wprowadzona w 1950 r. Rok później zostały zaproponowane algorytmy znajdowania równowag Nasha. Algorytmy te zostały później zinterpretowane jako modele uczenia się w grach, w szczegolności jako procedury gry fikcyjnej patrz np. [2, 27].

Gracz rozgrywa z przeciwnikiem S gier jednokrotnych, używając kolejno wszystkich dostępnych mu strategii czystych, i używa do gry tę która mu dała największa wypłatę (w przypadku kilku takich strategii wybiera losowo jedna z nich). Ta procedura nosi nazwę procedury jednokrotnego testowania. Przy k–krotnym powtórzeniu takiego algotytmu n-krotnego otrzymujemy procedurę k–krotnego testowania, por. [17]

Powyższe modele uczenia się można uogólnić na jeden model który nazwiemy modelem porównywania ([26]).

Załóżmy że gracz gra pewną strategią i. Dokonuje sie w pewien sposób (losowy lub nie) wyboru pewnego elementu ω∈Ω (lub zbioru elementów) który nazwiemy próbką.

Wyjściowym formalnym obiektem modelu jest rodzina przestrzeni probabilistycznych <Ω,B,P>, gdzie zbiór próbek Ω jest metryzowalna przestrzenią topologiczną, B jest σ–algebrą zbiorów Borelowskich, a P jest zbiorem wszystkich miar probabilistycznych na B.

Próbka ω jest losowana zgodnie z pewnym rozkładem μ∈P. Prawdopodobieństwo zamiany strategii i na j jest dane wzorem

gdzie ri⁢j∈0,1 jest tzw. funkcją reakcji, taką że wektor ri⁢1⁢Ω,…,ri⁢S⁢Ω jest rozkładem prawdopodobieństwa na zbiorze strategii czystych S dla każdej strategii i∈S.

W przypadku uczenia się przez imitację przestrzeń próbek Ω jest zbiorem jednoelementowych zbiorów i,i=1,…⁢S. Funkcje reakcji są takie jak w poprzednim przykładzie, ograniczonym do dwóch strategii.

Dla procedury lepszej/najlepszej odpowiedzi Ω=S, tzn. przestrzeń próbek jest jednoelementowa, μ=1, a ri⁢j=1/m jeżeli j jest najlepszą odpowiedzią na i, ri⁢j=0 wpp., gdzie m jest liczbą najlepszych odpowiedzi.

Uczenie się racjonalne (rational learning). Jest to najbardziej ”wyrafinowany” z prezentowanych modeli. Zakładamy że gracze znają sytuację strategiczna oraz że mają subiektywny (zależny od gracza) zbiór przekonań (beliefs) o strategiach behawioralnych pozostalych graczy. Gracze reagują optymalnie na przekonania–strategie behawioralne–pozostałych graczy (w sensie najlepszej odpowiedzi: tak aby zmaksymalizować zdyskontowana sumę wszystkich swoich przyszłych wypłat).

Uczenie się behawioralne: Odpowiednie modele te są tworzone na podstawie wyników eksperymentalnych, które w szczególności pokazują że ludzie często nie zachowują sie ”racjonalnie”, powoduja się emocjami, popełniają błędy, mają ograniczony horyzont czasowy planowania strategicznego i pamięć o historii (zapominanie), ograniczoną wiarę w racjonalność, umiejętności pozostałych graczy itp.