Zagadnienia

7.1 Zadanie aproksymacyjne
7.2 Założenia modelu i estymacja parametrów
7.3 Przykłady

7. Modele nieliniowe

Zastosowanie metody najmniejszych kwadratów w modelach nieliniowych. Opis metody. Przykłady: Modelowanie popytu konsumpcyjnego - funkcje Tórnquista. (1 wykład)

7.1. Zadanie aproksymacyjne

Dane jest $m+1$ $n$ -elementowych ciągów

$Y=(Y_{t}),\;\;\; X_{i}=(X_{{t,i}}),\;\;\; i=1,\dots,m,\;\;\; t=1,\dots,n,$

oraz dana jest rodzina funkcji $F(\eta _{1},\dots,\eta _{K},x_{1},\dots,x_{m}):D\times\mathbb{R}^{m}\longrightarrow\mathbb{R}$ , $D\subset\mathbb{R}^{K}$ .

Zadanie:
Wyznaczyć współczynniki $b=(b_{1},\dots,b_{K})$ , $b\in D\subset\mathbb{R}^{K}$ , które minimalizują błąd przybliżenia $Y$ przez $\widehat{Y}$

$\widehat{Y}_{t}=F_{t}(b)=F(b_{1},\dots b_{K},X_{{t,1}},\dots,X_{{t,m}}),\;\;\; t=1,\dots,n.$

Czyli należy rozwiązać zadanie optymalizacyjne:

$\|\xi\|^{2}=\sum _{{t=1}}^{n}\xi _{t}^{2}\longrightarrow\min,\;\;\;\mbox{ gdzie }\xi=Y-\widehat{Y}.$

W ogólnym przypadku, gdy nie znamy własności funkcji $F$ , to nie wiemy czy powyższe zadanie posiada rozwiązanie i czy jeśli posiada rozwiązanie to jest ono jedynym rozwiązaniem. Gdy $F$ jest różniczkowalne to można sformułować warunki konieczne, takie jak na przykład poniższy.

Lemat 7.1

Jeżeli $F$ jest różniczkowalne ze względu na $b$ i $b_{{min}}$ należący do wnętrza zbioru $D$ minimalizuje $\|\xi\|^{2}$ to wektor reszt $\xi=\xi(b_{{min}})$ jest ortogonalny do wektora pochodnych

$\sum _{{t=1}}^{n}\xi _{t}\frac{\partial F_{t}}{\partial b_{{i}}}(b_{{min}})=0\;\;\;\mbox{ dla }\;\;\; i=1,\dots,K.$

Dowód.
Przy założeniach lematu suma kwadratów reszt $SKR(b)=\|\xi(b)\|^{2}$ jest różniczkowalna. Zatem w punkcie, w którym przyjmuje najmniejszą wartość jej pochodne cząstkowe muszą się zerować. Biorąc pod uwagę, że $\xi _{t}(b)=Y_{t}-F_{t}(b)$ otrzymujemy dla każdego $i$

$0=\frac{\partial SKR}{\partial b_{i}}(b_{{min}})=2\sum _{{t=1}}^{n}\xi _{t}\frac{\partial\xi _{t}}{\partial b_{i}}=-2\sum _{{t=1}}^{n}\xi _{t}\frac{\partial F_{t}}{\partial b_{i}}(b_{{min}}).$

$\Box$

7.2. Założenia modelu i estymacja parametrów

Przyjmijmy dla modelu nieliniowego założenia wzorowane na modelu liniowym.
NZ1. Liniowa zależność od czynnika losowego

$Y_{t}=F(\beta,X_{t})+\varepsilon _{t},$

gdzie $\beta=(\beta _{1},\dots,\beta _{K})^{T}$ wektor parametrów, a $F$ funkcja różniczkowalna po $\beta$ .

NZ2. Ścisła egzogeniczność.

$E(\epsilon|X)=0.$

NZ3. Liniowa niezależność pochodnych.

$\forall b\in D\;\;\;(P(rkDF_{\ast}(b)=K)=1,$

gdzie $DF_{\ast}$ oznacza macierz $n\times K$ pochodnych cząstkowych wektora $F_{\ast}=(F_{1},\dots,F_{n})^{T}$ , $F_{t}(b)=F(b,X_{t})$ ,

$DF_{\ast}(b)_{{t,i}}=\frac{\partial F_{t}}{\partial b_{i}}(b)=\frac{\partial F}{\partial b_{i}}(b,X_{t}).$

NZ4. Sferyczność błędu

$E(\varepsilon\varepsilon^{T}|X)=\sigma^{2}Id_{n},$

gdzie $\sigma>0$ deterministyczny parametr modelu.

Naturalne jest aby estymatorem NMNK wektora $\beta$ nazywać rozwiązanie zadania aproksymacyjnego z poprzedniego podrozdziału.

Definicja 7.1

$K$ -wymiarowa zmienna losowa $B$ jest estymatorem NMNK wektora $\beta\in D$ , gdy $B$ przyjmuje wartości w $D$ i prawie na pewno

$\sum _{{t=1}}^{n}(Y_{t}(\omega)-F(B(\omega),X_{t}(\omega))^{2}=\min\{\sum _{{t=1}}^{n}(Y_{t}(\omega)-F(b,X_{t}(\omega))^{2}:b\in D\}.$

Lemat 7.2

Niech $D$ będzie podzbiorem otwartym $\mathbb{R}^{K}$ . Jeśli $B$ jest estymatorem NMNK wektora $\beta$ to

$B-\beta=(DF_{\ast}(B)^{T}DF_{\ast}(B))^{{-1}}DF_{\ast}(B)^{T}(\varepsilon+R_{2}(B)),$

gdzie $R_{2}(B)$ wektor reszt rozwinięcia Taylora $F_{t}$ w $B$

$R_{2}(B)=F_{\ast}(B)-F_{\ast}(\beta)+DF_{\ast}(B)(\beta-B).$

Dowód.
Mamy dwie równości wynikające z NZ1 i definicji składnika resztowego $\xi$

	$\displaystyle Y$	$\displaystyle=$	$\displaystyle F_{\ast}(\beta)+\varepsilon,$
	$\displaystyle Y$	$\displaystyle=$	$\displaystyle F_{\ast}(B)+\xi.$

Zatem

$F_{\ast}(B)-F_{\ast}(\beta)=\varepsilon-\xi.$

Czyli

$DF_{\ast}(B)(B-\beta)=\varepsilon-\xi+R_{2}(B).$

Z NZ3 wynika, że macierz $DF_{\ast}(B)^{T}DF_{\ast}(B)$ jest prawie na pewno odwracalna, zatem macierz $K\times n$

$P(B)=(DF_{\ast}(B)^{T}DF_{\ast}(B))^{{-1}}DF_{\ast}(B)^{T}$

jest dobrze zdefiniowana poza, być może, zbiorem $P$ -miary zero.
Zauważmy, że z definicji $P$ otrzymujemy

$P(B)DF_{\ast}(B)=(DF_{\ast}(B)^{T}DF_{\ast}(B))^{{-1}}DF_{\ast}(B)^{T}DF_{\ast}(B)=Id_{K},\;\;\mbox{ pn}.,$

a z lematu 7.1

$P(B)\xi=(DF_{\ast}(B)^{T}DF_{\ast}(B))^{{-1}}DF_{\ast}(B)^{T}\xi=0.$

Zatem

$B-\beta=P(B)DF_{\ast}(B)(B-\beta)=P(B)(\varepsilon-\xi+R_{2}(B))=P(B)(\varepsilon+R_{2}(B)).$

$\Box$

Uwaga 7.1

Jak widać z powyższego warunek ścisłej egzogeniczności (NZ2) nie implikuje nieobciążoności estymatora NMNK.

7.3. Przykłady

Opisane w poprzednich podrozdziałach trudności związane ze stosowaniem nieliniowej metody najmniejszych kwadratów powodują, że nieliniowe modele stosuje się tylko wtedy gdy dobrze opisują fakty stylizowane związane z modelowanym zjawiskiem. Tak jak na przykład funkcje Törnquista, których przebieg ilustruje hipotezy dotyczące reakcji konsumentów na zmiany dochodów, albo funkcja logistyczna, która znalazła zastosowanie w modelowaniu długookresowego wzrostu liczby ludności i w reprezentacji rozwoju sprzedaży nowych produktów na określonym rynku.

7.3.1. Funkcja Törnquista I typu

Funkcja Törnquista I typu wyraża zależność między popytem na dobra podstawowe ( $Y$ ), a dochodami konsumentów ( $X$ )

$Y=\frac{\alpha X}{X+\beta},\;\;\;\alpha,\beta>0.$

Popyt rośnie wraz ze wzrostem dochodów i stabilizuje się na poziomie równym $\alpha$ . Wykres ma asymptotę poziomą. Z drugiej strony popyt spada do zera wraz ze spadkiem dochodów ale nie znika dla niezerowych dochodów.

Rys. 7.1. Wykres funkcji Törnquista I typu.

7.3.2. Funkcja Törnquista II typu

Funkcja Törnquista II typu wyraża zależność między popytem na dobra wyższego rzędu ( $Y$ ), a dochodami konsumentów ( $X$ )

$Y=\frac{\alpha(X-\gamma)}{X+\beta},\;\;\;\alpha,\beta,\gamma>0.$

Rys. 7.2. Wykres funkcji Törnquista II typu.

7.3.3. Funkcja Törnquista III typu

Funkcja Törnquista III typu wyraża zależność między popytem na dobra i usługi luksusowe ( $Y$ ), a dochodami konsumentów ( $X$ )

$Y=\frac{\alpha X(X-\gamma)}{X+\beta},\;\;\;\alpha,\beta,\gamma>0.$

Popyt rośnie w sposób nieograniczony wraz ze wzrostem dochodów i dla dużych $X$ można go przybliżyć funkcją liniową

$Y=\alpha(X-(\gamma+\beta)).$

Wykres posiada asymptotę ukośną. Z drugiej strony popyt spada do zera wraz ze spadkiem dochodów i zanika dla dochodów niższych od granicznej wartości $\gamma$ .

Rys. 7.3. Wykres funkcji Törnquista III typu.

7.3.4. Funkcja logistyczna

Funkcja logistyczna wyraża zależność trendu wzrostowego $Y$ od czasu $t$

$Y(t)=\frac{\alpha}{1+\beta\exp(-\gamma t)},\;\;\;\alpha,\beta,\gamma>0.$

Posiada ona następujące własności:
$\bullet$ Jest ściśle rosnąca i przyjmuje wartości z przedziału $(0,\alpha)$

$\lim _{{t\rightarrow-\infty}}Y(t)=0,\;\;\;\;\lim _{{t\rightarrow+\infty}}Y(t)=\alpha.$

$\bullet$ Dla $t=0$ mamy $Y(0)=\frac{\alpha}{1+\beta}$ .
$\bullet$ Ma punkt przegięcia w $t_{\ast}=\gamma^{{-1}}\ln\beta$ . Trend ma w okolicach tego punktu największe przyrosty.
$\bullet$ Jest rozwiązaniem równania różniczkowego o zmiennych rozdzielonych zwanego równaniem Robertsona