Statystyka matematyczna/Metoda najmniejszych kwadratów

Statystyka matematyczna

Metoda najmniejszych kwadratów

Licencja
Autor: Mirosław Makowiecki Absolwent UMCS Fizyki Komputerowej Uniwersytetu Marii Curie-Skłodowskiej w Lublinie Email: miroslaw(kropka)makowiecki(małpa)gmail(kropka)pl Dotyczy: książki, do której należy ta strona, oraz w niej zawartych stron i w nich podstron, a także w nich kolumn, wraz z zawartościami. Użytkownika książki, do której należy ta strona, oraz w niej zawartych stron i w nich podstron, a także w nich kolumn, wraz z zawartościami nie zwalnia z odpowiedzialności prawnoautorskiej nieprzeczytanie warunków licencjonowania. Umowa prawna: Creative Commons: uznanie autorstwa, na tych samych warunkach, z możliwością obowiązywania dodatkowych ograniczeń. Autor tej książki dołożył wszelką staranność, aby informacje zawarte w książce były poprawne i najwyższej jakości, jednakże nie udzielana jest żadna gwarancja, czy też rękojma. Autor nie jest odpowiedzialny za wykorzystanie informacji zawarte w książce, nawet jeśli wywołaby jakąś szkodę, straty w zyskach, zastoju w prowadzeniu firmy, przedsiębiorstwa lub spółki bądź utraty informacji, niezależnie czy autor (a nawet Wikibooks) został powiadomiony o możliwości wystąpienie szkód. Informacje zawarte w książce mogą być wykorzystane tylko na własną odpowiedzialność.

Wykaz modułów w książce
1Średnie w matematyce statystycznej 2Wprowadzenie do rozkładów zmiennych losowych 3Momenty statystyczne ciągłe i dyskretne 4Momenty statystyczne dla funkcji złożonej 5Momenty statystyczne w działaniu 6Pobieranie próby 7Metoda największej wiarygodności 8Funkcje charakterystyczne 9Ważniejsze rozkłady statystyczne 10Twierdzenie o rozkładzie Bernoulliego 11Twierdzenie o rozkładzie wielomianowym 12Twierdzenie o rozkładzie normalnym jednowymiarowym 13Twierdzenie o rozkładzie normalnym wielowymiarowym 14Centralne twierdzenie graniczne 15Twierdzenie o rozkładzie χ² 16Twierdzenie o rozkładzie hipergeometrycznym 17Twierdzenie o rozkładzie Poissona 18Błędy pomiarowe w fizyce 19Metoda najmniejszych kwadratów

Spis treści
1Aproksymacja wielomianami W_n(x)

Poprzedni rozdział: Błędy pomiarowe w fizyce.

Podręcznik: Statystyka matematyczna.

Matematyczny opis metody - jest to metoda aproksymacyjna dla punktów x∈(x₀,x₁,x₂,x₃,..,x_n), dla których wartości powinny wynosić: y∈(y₀,y₁,y₂,y₃,...,y_n).

Zbudujmy funkcję S(x), taką, że:

S({\vec {x}},{\vec {y}})=\sum _{i=0}^{n}{\Big (}y_{i}-f(x_{i}){\Big )}^{2}

(19.1)

Funkcja S jest taką funkcją, która jest najmniejsza przy wyborze funkcji należących do zbioru F przy parze (x_i,y_i).

Aproksymacja wielomianami W_n(x)

Obierzmy funkcję f(x) jako pewien wielomian w celu aproksymacji zbioru punktów $P\in ({\vec {x}},{\vec {y}})$ ze współczynnikami a_l w bazie n+1 wymiarowej, którego elementami bazy są wyrazy xⁱ, które tworzą funkcję y:

y=\sum _{i=0}^{r}a_{i}x^{i}

(19.2)

Napiszmy wielomian $S({\vec {x}},{\vec {y}})\;$ znając już obraną funkcję f(x), wedle definicji wielomianu (19.2), wtedy zbudujmy nasz funkcjonał:

S({\vec {x}},{\vec {y}})=\sum _{i=0}^{n}{\Big (}y_{i}-\sum _{k=0}^{r}a_{k}x_{i}^{k}{\Big )}^{2}

(19.3)

Zbadajmy przy jakich parametrach a_l funkcja S(x) (19.3) przyjmuje wartość najmniejszą, zatem przy tych warunkach (19.3) przyjmuje wartość ekstremalną, zatem wtedy z definicji ekstremum możemy policzyć pierwszą pochodną naszego wyrażenia i przyrównać ją do zera.

{{\partial S({\vec {x}},{\vec {y}})} \over {\partial a_{l}}}=0

(19.4)

Mamy już funkcję S(x) (19.3) oraz warunek ekstremum (19.4), dalej wyznaczmy pewien wielomian, tzn. jego współczynniki o numerach a_l w celu wyznaczenia pełnej postaci wielomianu stopnia "r" (19.2), które później przekształcimy go do bardziej zgrabnej postaci:

0=\sum _{i=0}^{n}{\Big (}y_{i}-\sum _{k=0}^{r}a_{k}x_{i}^{k}{\Big )}x_{i}^{l}\Rightarrow \sum _{i=0}^{n}y_{i}x_{i}^{l}=\sum _{k=0}^{r}a_{k}\sum _{i=0}^{n}x_{i}^{k}x_{i}^{l}

(19.5)

Na podstawie końcowych obliczeń zachodzących w punkcie (19.5) możemy stworzyć odpowiednią macierz B, a także wektor pionowy ${\vec {Y}}\;$ , również wektor pionowy współczynników liniowych ${\vec {A}}\;$ :

B={\begin{bmatrix}n&\sum _{i=0}^{n}x_{i}&\cdots &\sum _{i=0}^{n}x_{i}^{r}\\\sum _{i=0}^{n}x_{i}&\sum _{i=0}^{n}x_{i}^{2}&\cdots &\sum _{i=0}^{n}x_{i}^{r+1}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=0}^{n}x_{i}^{r}&\sum _{i=0}^{n}x_{i}^{r+1}&\cdots &\sum _{i=0}^{n}x_{i}^{2r}\end{bmatrix}}

(19.6)

{\vec {Y}}={\begin{bmatrix}\sum _{i=0}^{n}y_{i}\\\sum _{i=0}^{n}y_{i}x_{i}^{1}\\\vdots \\\sum _{i=0}^{n}y_{i}x_{i}^{r}\end{bmatrix}}

(19.7)

{\vec {A}}={\begin{bmatrix}a_{0}\\a_{1}\\\vdots \\a_{r}\end{bmatrix}}

(19.8)

Równanie wynikające z końcowego wniosku (19.5) można zapisać, na postawie definicji macierzy B (19.6), a także z definicji wektora pionowego ${\vec {Y}}\;$ (19.7), a także ${\vec {A}}\;$ (19.9), jako równanie macierzowe w postaci macierzowej:

BA=Y\Rightarrow A=B^{-1}Y

(19.9)

Z końcowego wzoru (19.9) możemy wyznaczyć współczynniki liniowe występujące w definicji wielomianu (19.2).

Jednakże musi zachodzić zawsze $\operatorname {det} B\not =0$ , aby istniała jego macierz odwrotna. Również zachodzi z przedstawienia macierzy (19.6) właściwość:

B=B^{T}\,

(19.10)

Zatem macierz B na podstawie warunku (19.10) jest macierzą samą do siebie symetryczną.

Aproksymacja wielomianami Wn(x)

Aproksymacja wielomianami W_n(x)