,,Optymalizacja” to poszukiwanie czegoś ,,najlepszego”. Sprawdzenie, czy coś (np. decyzja) jest najlepsze, wymaga, przede wszystkim, określenia jakiejś miary, która pozwoli tą decyzję ocenić – funkcji celu. Konieczne jest także opisanie zbioru wszystkich dopuszczalnych decyzji – zbioru punktów dopuszczalnych. Matematyczne przedstawienie zadania optymalizacyjnego, które zaprezentujemy na tym wykładzie, może wydać się dużym uproszczeniem, lecz okazuje się ono być wystarczające w wielu praktycznych zastosowaniach. Będziemy opisywać zbiór punktów dopuszczalnych jako podzbiór wielowymiarowej przestrzeni rzeczywistej opisany przez układ równości i/lub nierówności. Funkcja celu będzie przyporządkowywała każdemu punktowi tego zbioru liczbę rzeczywistą mierzącą jego optymalność. W przypadku minimalizacji, funkcja celu często zwana jest funkcją kosztu, a celem optymalizacji jest wybranie spośród dozwolonych, opisanych przez ograniczenia, sposobów postępowania tych, które ten koszt uczynią najmniejszym.

Jeśli funkcja celu i wszystkie funkcje opisujące ograniczenia są liniowe, to mamy do czynienia z programowaniem liniowym. Istnieje wówczas algorytm (tzw. algorytm sympleks) pozwalający na szybkie i dokładne rozwiązywanie takich zagadnień (patrz monografie Bazaraa, Jarvis'a i Sherali [2] oraz Gass'a [8]). Sprawa znacznie się komplikuje, jeśli choć jedna z funkcji jest nieliniowa. Przenosimy się wówczas do świata programowania nieliniowego, który jest dużo bogatszy i trudniejszy. W ten właśnie świat mają wprowadzić czytelnika niniejsze notatki.

Okazuje się, że wiele zastosowań matematyki sprowadza się właśnie do problemów optymalizacyjnych. Zarządzanie procesami produkcyjnymi, logistyka, czy decyzje inwestycyjne to typowe problemy programowania nieliniowego. Nie dziwi zatem, że wielu ekonomistów jest ekspertami w tej dziedzinie. Co więcej, wiele teorii ekonomicznych opiera się na założeniu, że świat dąży lub oscyluje wokół punktu równowagi, czyli punktu będącego rozwiązaniem pewnego problemu optymalizacyjnego.

Równie ważne zastosowania ma programowanie nieliniowe w mechanice, elektronice, zarządzaniu zasobami wodnymi (tamy, irygacja itp.) oraz budownictwie. Można się pokusić o stwierdzenie, że to jedna z najczęściej stosowanych przez niematematyków dziedzin matematyki. Nie można też pominąć statystyki: np. metoda najmniejszych kwadratów, czy największej wiarogodności.

Zwykle, gdy teoria matematyczna zostaje użyta w praktyce, eleganckie metody analityczne oddają pola metodom numerycznym. Metody numeryczne mają na celu znalezienie przybliżenia rozwiązania zadania optymalizacyjnego, gdy staje się ono zbyt skomplikowane, by rozwiązać je w piękny analityczny sposób. Trzy ostatnie rozdziały tych notatek stanowią wprowadzenie do tej ważnej dziedziny. Zainteresowany czytelnik może poszerzyć swoją wiedzę czytając monografie Bertsekasa [4, 5], Luenbergera [9] lub Bazaraa, Sherali i Shetty [3].