Zagadnienia

7. Modele nieliniowe

Zastosowanie metody najmniejszych kwadratów w modelach nieliniowych. Opis metody. Przykłady: Modelowanie popytu konsumpcyjnego - funkcje Tórnquista. (1 wykład)

7.1. Zadanie aproksymacyjne

Dane jest m+1 n-elementowych ciągów

Y=(Y_{t}),\;\;\; X_{i}=(X_{{t,i}}),\;\;\; i=1,\dots,m,\;\;\; t=1,\dots,n,

oraz dana jest rodzina funkcji F(\eta _{1},\dots,\eta _{K},x_{1},\dots,x_{m}):D\times\mathbb{R}^{m}\longrightarrow\mathbb{R}, D\subset\mathbb{R}^{K}.

Zadanie:
Wyznaczyć współczynniki b=(b_{1},\dots,b_{K}), b\in D\subset\mathbb{R}^{K}, które minimalizują błąd przybliżenia Y przez \widehat{Y}

\widehat{Y}_{t}=F_{t}(b)=F(b_{1},\dots b_{K},X_{{t,1}},\dots,X_{{t,m}}),\;\;\; t=1,\dots,n.

Czyli należy rozwiązać zadanie optymalizacyjne:

\|\xi\|^{2}=\sum _{{t=1}}^{n}\xi _{t}^{2}\longrightarrow\min,\;\;\;\mbox{ gdzie }\xi=Y-\widehat{Y}.

W ogólnym przypadku, gdy nie znamy własności funkcji F, to nie wiemy czy powyższe zadanie posiada rozwiązanie i czy jeśli posiada rozwiązanie to jest ono jedynym rozwiązaniem. Gdy F jest różniczkowalne to można sformułować warunki konieczne, takie jak na przykład poniższy.

Lemat 7.1

Jeżeli F jest różniczkowalne ze względu na b i b_{{min}} należący do wnętrza zbioru D minimalizuje \|\xi\|^{2} to wektor reszt \xi=\xi(b_{{min}}) jest ortogonalny do wektora pochodnych

\sum _{{t=1}}^{n}\xi _{t}\frac{\partial F_{t}}{\partial b_{{i}}}(b_{{min}})=0\;\;\;\mbox{ dla }\;\;\; i=1,\dots,K.

Dowód.
Przy założeniach lematu suma kwadratów reszt SKR(b)=\|\xi(b)\|^{2} jest różniczkowalna. Zatem w punkcie, w którym przyjmuje najmniejszą wartość jej pochodne cząstkowe muszą się zerować. Biorąc pod uwagę, że \xi _{t}(b)=Y_{t}-F_{t}(b) otrzymujemy dla każdego i

0=\frac{\partial SKR}{\partial b_{i}}(b_{{min}})=2\sum _{{t=1}}^{n}\xi _{t}\frac{\partial\xi _{t}}{\partial b_{i}}=-2\sum _{{t=1}}^{n}\xi _{t}\frac{\partial F_{t}}{\partial b_{i}}(b_{{min}}).
\Box

7.2. Założenia modelu i estymacja parametrów

Przyjmijmy dla modelu nieliniowego założenia wzorowane na modelu liniowym.
NZ1. Liniowa zależność od czynnika losowego

Y_{t}=F(\beta,X_{t})+\varepsilon _{t},

gdzie \beta=(\beta _{1},\dots,\beta _{K})^{T} wektor parametrów, a F funkcja różniczkowalna po \beta.

NZ2. Ścisła egzogeniczność.

E(\epsilon|X)=0.

NZ3. Liniowa niezależność pochodnych.

\forall b\in D\;\;\;(P(rkDF_{\ast}(b)=K)=1,

gdzie DF_{\ast} oznacza macierz n\times K pochodnych cząstkowych wektora F_{\ast}=(F_{1},\dots,F_{n})^{T}, F_{t}(b)=F(b,X_{t}),

DF_{\ast}(b)_{{t,i}}=\frac{\partial F_{t}}{\partial b_{i}}(b)=\frac{\partial F}{\partial b_{i}}(b,X_{t}).

NZ4. Sferyczność błędu

E(\varepsilon\varepsilon^{T}|X)=\sigma^{2}Id_{n},

gdzie \sigma>0 deterministyczny parametr modelu.

Naturalne jest aby estymatorem NMNK wektora \beta nazywać rozwiązanie zadania aproksymacyjnego z poprzedniego podrozdziału.

Definicja 7.1

K-wymiarowa zmienna losowa B jest estymatorem NMNK wektora \beta\in D, gdy B przyjmuje wartości w D i prawie na pewno

\sum _{{t=1}}^{n}(Y_{t}(\omega)-F(B(\omega),X_{t}(\omega))^{2}=\min\{\sum _{{t=1}}^{n}(Y_{t}(\omega)-F(b,X_{t}(\omega))^{2}:b\in D\}.
Lemat 7.2

Niech D będzie podzbiorem otwartym \mathbb{R}^{K}. Jeśli B jest estymatorem NMNK wektora \beta to

B-\beta=(DF_{\ast}(B)^{T}DF_{\ast}(B))^{{-1}}DF_{\ast}(B)^{T}(\varepsilon+R_{2}(B)),

gdzie R_{2}(B) wektor reszt rozwinięcia Taylora F_{t} w B

R_{2}(B)=F_{\ast}(B)-F_{\ast}(\beta)+DF_{\ast}(B)(\beta-B).

Dowód.
Mamy dwie równości wynikające z NZ1 i definicji składnika resztowego \xi

\displaystyle Y \displaystyle= \displaystyle F_{\ast}(\beta)+\varepsilon,
\displaystyle Y \displaystyle= \displaystyle F_{\ast}(B)+\xi.

Zatem

F_{\ast}(B)-F_{\ast}(\beta)=\varepsilon-\xi.

Czyli

DF_{\ast}(B)(B-\beta)=\varepsilon-\xi+R_{2}(B).

Z NZ3 wynika, że macierz DF_{\ast}(B)^{T}DF_{\ast}(B) jest prawie na pewno odwracalna, zatem macierz K\times n

P(B)=(DF_{\ast}(B)^{T}DF_{\ast}(B))^{{-1}}DF_{\ast}(B)^{T}

jest dobrze zdefiniowana poza, być może, zbiorem P-miary zero.
Zauważmy, że z definicji P otrzymujemy

P(B)DF_{\ast}(B)=(DF_{\ast}(B)^{T}DF_{\ast}(B))^{{-1}}DF_{\ast}(B)^{T}DF_{\ast}(B)=Id_{K},\;\;\mbox{ pn}.,

a z lematu 7.1

P(B)\xi=(DF_{\ast}(B)^{T}DF_{\ast}(B))^{{-1}}DF_{\ast}(B)^{T}\xi=0.

Zatem

B-\beta=P(B)DF_{\ast}(B)(B-\beta)=P(B)(\varepsilon-\xi+R_{2}(B))=P(B)(\varepsilon+R_{2}(B)).
\Box
Uwaga 7.1

Jak widać z powyższego warunek ścisłej egzogeniczności (NZ2) nie implikuje nieobciążoności estymatora NMNK.

7.3. Przykłady

Opisane w poprzednich podrozdziałach trudności związane ze stosowaniem nieliniowej metody najmniejszych kwadratów powodują, że nieliniowe modele stosuje się tylko wtedy gdy dobrze opisują fakty stylizowane związane z modelowanym zjawiskiem. Tak jak na przykład funkcje Törnquista, których przebieg ilustruje hipotezy dotyczące reakcji konsumentów na zmiany dochodów, albo funkcja logistyczna, która znalazła zastosowanie w modelowaniu długookresowego wzrostu liczby ludności i w reprezentacji rozwoju sprzedaży nowych produktów na określonym rynku.

7.3.1. Funkcja Törnquista I typu

Funkcja Törnquista I typu wyraża zależność między popytem na dobra podstawowe (Y), a dochodami konsumentów (X)

Y=\frac{\alpha X}{X+\beta},\;\;\;\alpha,\beta>0.

Popyt rośnie wraz ze wzrostem dochodów i stabilizuje się na poziomie równym \alpha. Wykres ma asymptotę poziomą. Z drugiej strony popyt spada do zera wraz ze spadkiem dochodów ale nie znika dla niezerowych dochodów.

Rys. 7.1. Wykres funkcji Törnquista I typu.

7.3.2. Funkcja Törnquista II typu

Funkcja Törnquista II typu wyraża zależność między popytem na dobra wyższego rzędu (Y), a dochodami konsumentów (X)

Y=\frac{\alpha(X-\gamma)}{X+\beta},\;\;\;\alpha,\beta,\gamma>0.

Popyt rośnie wraz ze wzrostem dochodów i stabilizuje się na poziomie równym \alpha. Wykres ma asymptotę poziomą. Z drugiej strony popyt spada do zera wraz ze spadkiem dochodów i zanika dla dochodów niższych od granicznej wartości \gamma.

Rys. 7.2. Wykres funkcji Törnquista II typu.

7.3.3. Funkcja Törnquista III typu

Funkcja Törnquista III typu wyraża zależność między popytem na dobra i usługi luksusowe (Y), a dochodami konsumentów (X)

Y=\frac{\alpha X(X-\gamma)}{X+\beta},\;\;\;\alpha,\beta,\gamma>0.

Popyt rośnie w sposób nieograniczony wraz ze wzrostem dochodów i dla dużych X można go przybliżyć funkcją liniową

Y=\alpha(X-(\gamma+\beta)).

Wykres posiada asymptotę ukośną. Z drugiej strony popyt spada do zera wraz ze spadkiem dochodów i zanika dla dochodów niższych od granicznej wartości \gamma.

Rys. 7.3. Wykres funkcji Törnquista III typu.

7.3.4. Funkcja logistyczna

Funkcja logistyczna wyraża zależność trendu wzrostowego Y od czasu t

Y(t)=\frac{\alpha}{1+\beta\exp(-\gamma t)},\;\;\;\alpha,\beta,\gamma>0.

Posiada ona następujące własności:
\bullet Jest ściśle rosnąca i przyjmuje wartości z przedziału (0,\alpha)

\lim _{{t\rightarrow-\infty}}Y(t)=0,\;\;\;\;\lim _{{t\rightarrow+\infty}}Y(t)=\alpha.

\bullet Dla t=0 mamy Y(0)=\frac{\alpha}{1+\beta}.
\bullet Ma punkt przegięcia w t_{\ast}=\gamma^{{-1}}\ln\beta. Trend ma w okolicach tego punktu największe przyrosty.
\bullet Jest rozwiązaniem równania różniczkowego o zmiennych rozdzielonych zwanego równaniem Robertsona

Y^{\prime}=\frac{\gamma}{\alpha}Y(\alpha-Y),

spełniającym warunek początkowy

Y(0)=\frac{\alpha}{1+\beta}.
Rys. 7.4. Wykres funkcji logistycznej.

Treść automatycznie generowana z plików źródłowych LaTeXa za pomocą oprogramowania wykorzystującego LaTeXML.

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego.

Projekt współfinansowany przez Ministerstwo Nauki i Szkolnictwa Wyższego i przez Uniwersytet Warszawski.