W przypadku, kiedy rozważamy nieskończony horyzont czasowy a zagadnienie jest autonomiczne, funkcja wartości przestaje być zależna od czasu. Dlatego też dla nieskończonego horyzontu czasowego twierdzenie o warunku dostatecznym ma prostszą postać.

Rozważamy teraz zagadnienia minimalizacji funkcjonałów
∫t¯t1f0⁢x⁢t,u⁢t⁢e-ζ⋅t⁢d⁢t+g⁢t1,x⁢t1⁢e-ζ⋅t1 w skończonym horyzoncie czasowym i
∫t¯∞f0⁢x⁢t,u⁢t⁢e-ζ⋅t⁢d⁢t w nieskończonym horyzoncie czasowym.

Jeżeli potrakujemy czynnik dyskontujący jako dodatkową współrzędną zmiennej stanu, możemy zastosować odpowiednie wersje twierdzeń 11.5 i 11.6. Jednakże tak otrzymane równanie jest trudne w interpretacji i zbyt złożone. Dlatego dla zagadnień z dyskontowaniem formułuje się inną postać równania Bellmana.

Dla zagadnień z dyskontowaniem ponownie definiujemy nasze pomocnicze oznaczenie – funkcja C:R×Rn×Ω→R¯ wzdłuż trajektorii będzie zdefiniowana jako
C⁢t¯,x¯,u=∫t¯t1f0⁢x⁢t,u⁢t⁢e-ζ⋅t-t¯⁢d⁢t+g⁢t1,x⁢t1⁢e-ζ⁢t1-t¯ w skończonym horyzoncie czasowym i
C⁢t¯,x¯,u=∫t¯∞f0⁢x⁢t,u⁢t⁢e-ζ⋅t-t¯⁢d⁢t w nieskończonym horyzoncie czasowym,
dla trajektorii x zdefiniowanej równaniem różniczkowym x˙=f⁢x⁢t,u⁢t z warunkiem początkowym x⁢t¯=x¯.

Interpretacja jest analogiczna jak w przypadku bez dyskontowania – do chwili t¯ stosowaliśmy pewne sterowanie, które zaprowadziło nas do stanu x¯. Teraz mamy nowy problem optymalizacyjny – chcemy zminimalizować zdyskontowany funkcjonał kosztu od tego momentu. Choć matematycznie różnica pomiędzy dyskontowaniem na chwilę 0, a na chwilę t¯ to tylko przemnożenie przez stałą, jednak dla ekonomisty oczywiste jest, że dyskontujemy zawsze na chwilę podejmowania decyzji, czyli t¯. Ponadto okaże się, że dla tak zdefiniowanej zdyskontowanej funkcji wartości otrzymamy proste równanie Bellmana i warunek końcowy.

W tym podrozdziale przedstawimy model optymalizacji konsumpcji w cyklu życia przez racjonalnego konsumenta, czasem nazywany zagadnieniem wyboru międzyokresowego.

Ten sam model możemy też zastosować do optymalizacji wydatków budżetowych w ciągu roku budżetowego. Zaproponowany tu model stanowi uciągloną wersję przypadku dyskretnego, który można znaleźć w wielu podręcznikach makroekonomii.

Pan Kowalski uważa, że uważa, że będzie żył jeszcze T czasu. Jego dochody w chwili t wyznacza zewnętrzna, deterministyczna funkcja Y⁢t≥0.

Jego bieżąca funkcja wypłaty (nazywana w tym kontekście bieżącą funkcją użyteczności) to U⁢C ściśle rosnąca i ściśle wklęsła funkcja konsumpcji C.

Konsumenci mogą korzystać z idealnego konta bankowego, o jednakowej dla kredytów i lokat stopie procentowej r kapitalizacji ciągłej. Tak więc pan Kowalski może bez ograniczeń lokować lub zadłużać się, z jednym ograniczeniem – że w chwili T jego stan konta musi być nieujemny, ponieważ bank, znający doskonale zagadnienie optymalizacyjne klienta, nie pożyczy mu nigdy kwoty, której nie mógłby odzyskać z jego późniejszych zarobków.

Pan Kowalski chce zmaksymalizować użyteczność konsumpcji w cyklu życia, czyli
∫0TU⁢C⁢t⋅e-ζ⋅t⁢d⁢t, gdzie ζ>0 – jest miarą jego niecierpliwości. Bieżąca funkcja użyteczności U w notacji skryptu to funkcja wyłaty f0.

Stan konta w chwili t, oznaczany przez A⁢t opisuje równanie różniczkowe:
A⁢t˙=r⋅A⁢t+Y⁢t-C⁢t z warunkiem początkowym
A⁢0=A0. W notacji skryptu A to nasza zmienna stanu x, prawa strona równania definiuje więc funkcję f.

Parametrem sterującym jest wielkość konsumpcji C – w oznaczeniach skryptu jest to u. Zbiór parametrów sterujących Ω=R+(=[0,+∞).
Cel A⁢T≥0 zapisujemy jako T=R+.

Model Nordhausa, przykład podany za Chiang [16].

Do następnych wyborów zostało T czasu. Obecnie panujący rząd jest zainteresowany maksymalizacją szansy na wygranie następnych wyborów, a ta z kolei jest ściśle rosnącą funkcją zadowolenia społeczeństwa w chwili wyborów.

W tym uproszczonym modelu są tylko dwa parametry ekonomiczne związane ze sobą i wpływające na zadowolenie społeczeństwa pośrednio lub bezpośrednio kontrolowane przez rząd. Są to inflacja Π (będąca pod bezpośrednią kontrolą rządu emitującego pieniądz) i bezrobocie U powiązane z Π zależnością (zwaną w ekonomii krzywą Philipsa i potwierdzaną przez wiele lat przez dane empiryczne).
W ogólnym przypadku zależność opisana krzywą Philipsa ma postać Π=ϕ⁢U+a⋅Πe, gdzie Πe to oczekiwana inflacja (nazywana też oczekiwaniami inflacyjnymi), ϕ′<0, a a∈0,1.

Zakładamy ponadto tak zwane adaptacyjne oczekiwania, czyli Πe′=b⋅Π-Πe – oczekiwania inflacyjne zmieniają się proporcjonalnie do pomyłki w szacowaniu przez nie rzeczywistej inflacji.

Bieżące zadowolenie społeczeństwa mierzy funkcja v⁢U,Π o obu pochodnych cząstkowych ujemnych, przy czym przeważnie ludzie gorzej znoszą duże wartości inflacji niż bezrobocia – co można odzwierciedlić funkcją liniową względem Π i kwadratową względem U.

Podejmując decyzję wyborczą ludzie lepiej pamiętają to, co jest bliższe. To daje nietypowe ,,dyskontowanie” w funkcji maksymalizowanej:
∫0Tv⁢U⁢t,Π⁢t⁢eζ⋅t⁢d⁢t.

Aby uprościć model, wyrugowujemy ze wzorów faktyczną inflację Π. Po przekształceniach otrzymujemy zagadnienie
zmaksymalizować ∫0Tv⁢U⁢t,Φ⁢U⁢t+a⋅Πe⁢t⁢d⁢t
przy Πe˙⁢t=b⋅Φ⁢U+1-a⋅Πe
z warunkiem początkowym Πe⁢0=Π0e≥0.

W tak przedefiniowanym równaniu zmienną stanu będzie Πe, a sterowaniem U.

Aby uzyskać wyniki analityczne, Nordhaus analizował model liniowo-kwadratowy (liniowa dynamika, kwadratowa wklęsła funkcja wypłaty bieżącej). Potraktujemy jego model jako ćwiczenie.

Interpretacja ekonomiczna wyników ćwiczenia 11.23 i implikacje tychże w rzeczywistości.

Optymalne U jest malejącą funkcją czasu, a inflacja i oczekiwania rosnącą.

Ten pierwszy fakt oznacza, że dla rządu kierującego się maksymalizacją funkcji wypłaty jak określona w ćwiczeniu 11.23 optymalne jest tuż po wyborach ustanowienie wysokiego poziomu bezrobocia, żeby było z czego schodzić. ,,Ustanowienie wysokiego poziomu bezrobocia” wynika z tego, że tylko po wyborach można pozwolić sobie na duszenie inflacji (podobnie jak i inne mało popularne, acz niezbędne reformy).

Tak naprawdę to przypominamy sobie, że bezrobocia rząd nie ustawia – jest ono skutkiem takiej a nie innej polityki monetarnej – czyli obniżenie bezrobocia jest skutkiem zwiększania inflacji. Jeśli pomyślimy o tym, że ten sam problem optymalizacji będzie miał miejsce po wyborach, to jasne jest, że potem ponosimy dodatkowe koszty – bo same oczekiwania inflacyjne zwiększają inflację, a duszenie inflacji powoduje wzrost bezrobocia…

A zatem potem mamy następne wybory i kolejny rząd ma wysokie Π0e na starcie i to samo zagadnienie optymalizacyjne.

Warto dodać jeszcze ciekawostkę: krzywą Philipsa i polityczny cykl koniunkturalny potwierdzały dane empiryczne. Do czasu – ponieważ ludzie się uczą. Oczekiwania adaptacyjne z czasem zamieniły się na racjonalne (wiemy, jak działa rząd, więc jesteśmy w stanie wyliczyć faktyczną inflację będącą skutkiem jego działań), a dodruk pustych pieniędzy przestał wpływać na realny rynek, powodując jedynie inflację, bez wpływu na zmniejszenie bezrobocia.

Niestety, proceder nakręcania inflacji przed wyborami, o ile nie ma ograniczeń prawnych, często nadal ma miejsce.

Przykład podany za Chiang [16].

Koszt wydobycia ilości u surowca (ropy naftowej, węgla, etc.) opisuje funkcja c⁢u rosnąca (zazwyczaj ściśle), wypukła (zazwyczaj ściśle) i nieujemna. Jeśli na rynku jest u>0 surowca, wówczas ustala się nieujemna cena p⁢u za jednostkę, przy czym funkcja p, nazywana przez ekonomistów odwrotną funkcją popytu, jest malejąca (zazwyczaj ściśle na zbiorze tych u dla których jest niezerowa), gdyż ludzie są skłonni zapłacić więcej za towar deficytowy.

Monopolista – posiadacz złoża chce zmaksymalizować łączne zdyskontowane zyski, czyli
∫0Tp⁢u⁢t⋅u⁢t-c⁢u⁢t⋅e-ζ⋅t⁢d⁢t, przy czym końcowy czas T może być skończony lub równy +∞.

Zazwyczaj ζ=r≥0, gdzie r to rynkowa stopa procentowa, przy oczywistym równaniu stanu x˙⁢t=-u⁢t dla x⁢t>0 i x˙⁢t=0 dla x⁢t=0.

Równie oczywiste jest ograniczenie ,,z próżnego i Salomon nie naleje”, czyli jeśli x⁢t=0, to jedynym dostępnym sterowaniem jest 0.

Model opisuje też dowolną sytuację wyprzedaży zapasów.

W pojęciu eksploatacja surowców odnawialnych mieści się cała klasa zagadnień tzw. ekonomii ekologicznej, w której przedmiotem eksploatacji jest ekosystem lub jego część. Są to zagadnienia od jednowymiarowych do bardzo złożonych.

Najprostsze modele eksploatacji, w których mamy jedną zmienną stanu, jak na przykład populacja śledzia bałtyckiego albo powierzchnia lasu ignorują wielowymiarowy charakter zależności opisujących stan ekosystemu. Bardziej złożone biorą pod uwagę zależności pomiędzy gatunkami (na przykład interakcje drapieżnik-ofiara), a nawet strukturę wiekową populacji w ramach gatunku.

Zmienna stanu opisuje stan ecosystemu – jest to na przykład wektor, którego współrzędnymi są liczności osobników każdego z gatunków. Parametrem sterującym może być wielkość eksploatacji, albo np. nakłady na eksploatację.

Tym razem równanie stanu ma postać x˙⁢t=f⁢x⁢t,u⁢t, przy czym przeważnie zakładamy, że jeśli xi=0, to fi⁢x,u≡0 (jeśli gatunek wyginął, to nie da się go odtworzyć). Ponadto eksploatacja zazwyczaj nie może być ujemna.

Właściciel łowiska maksymalizuje łączną zdyskontowaną użyteczność eksploatacji
a) ∫0∞[U(u(t),x(t))⋅e-ζ⋅tdt albo
b) ∫0t1[U(u(t),x(t))⋅e-ζ⋅tdt+g(x(t1))⋅e-ζ⋅t1 (kiedy postanowię przejść na emeryturę, prawa do łowiska mogę sprzedać).

Różne wersje tego modelu badaliśmy w ćwiczeniach 11.5, 11.7, 11.12 i 11.19.

Funkcja U może też mieć postać jak funkcja wypłaty bieżącej w modelu Hotellinga (podrozdział 11.5.3) przy czym koszt dodatkowo może zależeć od stanu systemu – U⁢u,x=p⁢u⋅u-c⁢u,x – i być względem niego malejący (wyłowienie tony śledzia kosztuje dużo, jeśli śledzie prawie wyginęły, natomiast jest tańsze, gdy jest ich pełno).

Przykładem zagadnienia wielowymiarowego jest sytuacja, gdy mamy dwa gatunki, a pomiędzy nimi trzy możliwe relacje: symbioza, konkurencja o wspólne źródło pokarmu i drapieżnik-ofiara.