Statystyka matematyczna/Metoda najmniejszych kwadratów

Metoda najmniejszych kwadratów

---

Licencja

Autor: Mirosław Makowiecki Absolwent UMCS Fizyki Komputerowej Uniwersytetu Marii Curie-Skłodowskiej w Lublinie Email: miroslaw(kropka)makowiecki(małpa)gmail(kropka)pl Dotyczy: książki, do której należy ta strona, oraz w niej zawartych stron i w nich podstron, a także w nich kolumn, wraz z zawartościami. Użytkownika książki, do której należy ta strona, oraz w niej zawartych stron i w nich podstron, a także w nich kolumn, wraz z zawartościami nie zwalnia z odpowiedzialności prawnoautorskiej nieprzeczytanie warunków licencjonowania. Umowa prawna: Creative Commons: uznanie autorstwa, na tych samych warunkach, z możliwością obowiązywania dodatkowych ograniczeń. Autor tej książki dołożył wszelką staranność, aby informacje zawarte w książce były poprawne i najwyższej jakości, jednakże nie udzielana jest żadna gwarancja, czy też rękojma. Autor nie jest odpowiedzialny za wykorzystanie informacji zawarte w książce, nawet jeśli wywołaby jakąś szkodę, straty w zyskach, zastoju w prowadzeniu firmy, przedsiębiorstwa lub spółki bądź utraty informacji, niezależnie czy autor (a nawet Wikibooks) został powiadomiony o możliwości wystąpienie szkód. Informacje zawarte w książce mogą być wykorzystane tylko na własną odpowiedzialność.

---

---

Spis treści
1Aproksymacja wielomianami Wn(x)

Matematyczny opis metody - jest to metoda aproksymacyjna dla punktów x∈(x₀,x₁,x₂,x₃,..,x_n), dla których wartości powinny wynosić: y∈(y₀,y₁,y₂,y₃,...,y_n).

Zbudujmy funkcję S(x), taką, że:

$S({\vec {x}},{\vec {y}})=\sum _{i=0}^{n}{\Big (}y_{i}-f(x_{i}){\Big )}^{2}$

(19.1)

Funkcja S jest taką funkcją, która jest najmniejsza przy wyborze funkcji należących do zbioru F przy parze (x_i,y_i).

Aproksymacja wielomianami W_n(x)

Obierzmy funkcję f(x) jako pewien wielomian w celu aproksymacji zbioru punktów $P\in ({\vec {x}},{\vec {y}})$ ze współczynnikami a_l w bazie n+1 wymiarowej, którego elementami bazy są wyrazy xⁱ, które tworzą funkcję y:

$y=\sum _{i=0}^{r}a_{i}x^{i}$

(19.2)

Napiszmy wielomian $S({\vec {x}},{\vec {y}})\;$ znając już obraną funkcję f(x), wedle definicji wielomianu (19.2), wtedy zbudujmy nasz funkcjonał:

$S({\vec {x}},{\vec {y}})=\sum _{i=0}^{n}{\Big (}y_{i}-\sum _{k=0}^{r}a_{k}x_{i}^{k}{\Big )}^{2}$

(19.3)

Zbadajmy przy jakich parametrach a_l funkcja S(x) (19.3) przyjmuje wartość najmniejszą, zatem przy tych warunkach (19.3) przyjmuje wartość ekstremalną, zatem wtedy z definicji ekstremum możemy policzyć pierwszą pochodną naszego wyrażenia i przyrównać ją do zera.

${{\partial S({\vec {x}},{\vec {y}})} \over {\partial a_{l}}}=0$

(19.4)

Mamy już funkcję S(x) (19.3) oraz warunek ekstremum (19.4), dalej wyznaczmy pewien wielomian, tzn. jego współczynniki o numerach a_l w celu wyznaczenia pełnej postaci wielomianu stopnia "r" (19.2), które później przekształcimy go do bardziej zgrabnej postaci:

$0=\sum _{i=0}^{n}{\Big (}y_{i}-\sum _{k=0}^{r}a_{k}x_{i}^{k}{\Big )}x_{i}^{l}\Rightarrow \sum _{i=0}^{n}y_{i}x_{i}^{l}=\sum _{k=0}^{r}a_{k}\sum _{i=0}^{n}x_{i}^{k}x_{i}^{l}$

(19.5)

Na podstawie końcowych obliczeń zachodzących w punkcie (19.5) możemy stworzyć odpowiednią macierz B, a także wektor pionowy ${\vec {Y}}\;$, również wektor pionowy współczynników liniowych ${\vec {A}}\;$:

$B={\begin{bmatrix}n&\sum _{i=0}^{n}x_{i}&\cdots &\sum _{i=0}^{n}x_{i}^{r}\\\sum _{i=0}^{n}x_{i}&\sum _{i=0}^{n}x_{i}^{2}&\cdots &\sum _{i=0}^{n}x_{i}^{r+1}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=0}^{n}x_{i}^{r}&\sum _{i=0}^{n}x_{i}^{r+1}&\cdots &\sum _{i=0}^{n}x_{i}^{2r}\end{bmatrix}}$

(19.6)

${\vec {Y}}={\begin{bmatrix}\sum _{i=0}^{n}y_{i}\\\sum _{i=0}^{n}y_{i}x_{i}^{1}\\\vdots \\\sum _{i=0}^{n}y_{i}x_{i}^{r}\end{bmatrix}}$

(19.7)

${\vec {A}}={\begin{bmatrix}a_{0}\\a_{1}\\\vdots \\a_{r}\end{bmatrix}}$

(19.8)

Równanie wynikające z końcowego wniosku (19.5) można zapisać, na postawie definicji macierzy B (19.6), a także z definicji wektora pionowego ${\vec {Y}}\;$ (19.7), a także ${\vec {A}}\;$ (19.9), jako równanie macierzowe w postaci macierzowej:

$BA=Y\Rightarrow A=B^{-1}Y$

(19.9)

Z końcowego wzoru (19.9) możemy wyznaczyć współczynniki liniowe występujące w definicji wielomianu (19.2).

• Jednakże musi zachodzić zawsze $\operatorname {det} B\not =0$, aby istniała jego macierz odwrotna. Również zachodzi z przedstawienia macierzy (19.6) właściwość:

$B=B^{T}\,$

(19.10)

Zatem macierz B na podstawie warunku (19.10) jest macierzą samą do siebie symetryczną.