Statystyka matematyczna/Twierdzenie o rozkładzie normalnym wielowymiarowym

Twierdzenie o rozkładzie normalnym wielowymiarowym

---

Licencja

Autor: Mirosław Makowiecki Absolwent UMCS Fizyki Komputerowej Uniwersytetu Marii Curie-Skłodowskiej w Lublinie Email: miroslaw(kropka)makowiecki(małpa)gmail(kropka)pl Dotyczy: książki, do której należy ta strona, oraz w niej zawartych stron i w nich podstron, a także w nich kolumn, wraz z zawartościami. Użytkownika książki, do której należy ta strona, oraz w niej zawartych stron i w nich podstron, a także w nich kolumn, wraz z zawartościami nie zwalnia z odpowiedzialności prawnoautorskiej nieprzeczytanie warunków licencjonowania. Umowa prawna: Creative Commons: uznanie autorstwa, na tych samych warunkach, z możliwością obowiązywania dodatkowych ograniczeń. Autor tej książki dołożył wszelką staranność, aby informacje zawarte w książce były poprawne i najwyższej jakości, jednakże nie udzielana jest żadna gwarancja, czy też rękojma. Autor nie jest odpowiedzialny za wykorzystanie informacji zawarte w książce, nawet jeśli wywołaby jakąś szkodę, straty w zyskach, zastoju w prowadzeniu firmy, przedsiębiorstwa lub spółki bądź utraty informacji, niezależnie czy autor (a nawet Wikibooks) został powiadomiony o możliwości wystąpienie szkód. Informacje zawarte w książce mogą być wykorzystane tylko na własną odpowiedzialność.

---

---

Spis treści
1Wyprowadzenie twierdzenia o rozkładzie normalnym wielowymiarowym 2Wyznaczenie elementów macierzy B, wartość dokładna a wartość oczekiwana 2.1Dowód równości wartości oczekiwanej i dokładnej 2.2Definicja macierzy B poprzez macierz kowariancji

Twierdzenie o rozkładzie normalnym wielowymiarowym - jest to uogólnienie twierdzenia o rozkładzie normalnym jednej zmiennej. Ono określa, jeśli mamy n-wymiarowy wektor pomiaru: $\overrightarrow{x}$ oraz n-wymiarowy wektor wartości dokładnej: ${\overrightarrow{x}}_0$, to jaka jest gęstość prawdopodobieństwo uzyskania n-wymiarowego wektora dla pomiarów wokół wartości dokładnej.

Wyprowadzenie twierdzenia o rozkładzie normalnym wielowymiarowym

Aby wprowadzić definicję gęstości prawdopodobieństwa uzyskania n wektorów, które symbolizują pomiary uzyskane w wyniku doświadczenia, a każde taki wektor z n jest m wymiarowy, które przedstawiają m pomiarów, różnych wielkości fizycznych uzyskanych jednocześnie. Każde takie m wielkości posiadają m wartości dokładnych. Mając wzór (12.7), w nim można logarytm naturalny z liczby trafień w m-wymiarowy punkt przedstawić jako funkcję "g" z minusem, którego argumentem jest m-wymiarowy wektor przedstawiający n jednoczesnych pomiarów różnych wielkości fizycznych, dzięki której chcemy wyznaczyć m wartości dokładnych jednocześnie:

$\ln \frac{k}{n}=-g(𝐱,{𝐱}_{\mathrm{𝟎}})$

(13.1)

• gdzie m pomiarów jednoczesnych różnych wielkości fizycznych $𝐱$ i m wartości dokładnych ${𝐱}_0;$ przedstawiamy:

$𝐱=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_m\end{array}\right]$

(13.2)

${𝐱}_0=\left[\begin{array}{c}{x}_{01}\\ ⋮\\ x_{0m}\end{array}\right]$

(13.3)

Rozwińmy funkcję $g(𝐱,{𝐱}_{\mathrm{𝟎}})$, którego argumentem jest m jednoczesnych pomiarów pomiarów i m wartości dokładnych, w szereg Taylora względem względem m wartości dokładnych, które są zapisane w postaci wektora (13.3) pomijając wyrazy trzeciego rzędu i wyższych w tym rozważanym szeregu:

$g(𝐱,{𝐱}_{\mathrm{𝟎}})\simeq g({𝐱}_{\mathrm{𝟎}},{𝐱}_{\mathrm{𝟎}})+\sum _{i=1}^m{\left(\frac{\partial g}{\partial x}\right)}_{x_0}(x_i-x_{i0})+\frac{1}{2}\sum _{l=1}^m\sum _{p=1}^m{\left(\frac{{\partial }^{2}g}{\partial x_l\partial x_p}\right)}_{x_0}(x_l-x_{0l})(x_p-x_{0p})$

(13.4)

Zbudujmy macierze B i A występujące w przedstawieniu przybliżonych funkcji g , czyli według (13.4), gdzie macierz A jest wektorem poziomym pierwszych pochodnych cząstkowych względem wartości m pomiarów jednoczesnych x_i, a macierz B jest macierzą drugich pochodnych cząstkowych tej samej funkcji co poprzednio względem tych samych pomiarów:

$A=[\frac{\partial g}{\partial x_1},\frac{\partial g}{\partial x_1},\mathrm{...},\frac{\partial g}{\partial x_n}]$

(13.5)

$B=\left[\begin{array}{ccc}{\left(\frac{{\partial }^{2}g}{\partial x_{11}^2}\right)}_{{𝐱}_{\mathrm{𝟎}}}& {\left(\frac{{\partial }^{2}g}{\partial x_1\partial x_2}\right)}_{{𝐱}_{\mathrm{𝟎}}}& \cdots {\left(\frac{{\partial }^{2}g}{\partial x_1\partial x_{1n}}\right)}_{{𝐱}_{\mathrm{𝟎}}}\\ {\left(\frac{{\partial }^{2}g}{\partial x_2\partial x_1}\right)}_{{𝐱}_{\mathrm{𝟎}}}& {\left(\frac{{\partial }^{2}g}{\partial x_{22}^2}\right)}_{{𝐱}_{\mathrm{𝟎}}}& \cdots {\left(\frac{{\partial }^{2}g}{\partial x_1\partial x_{2n}}\right)}_{{𝐱}_{\mathrm{𝟎}}}\\ \cdots & \cdots & \cdots \cdots \\ {\left(\frac{{\partial }^{2}g}{\partial x_{n1}}\right)}_{{𝐱}_{\mathrm{𝟎}}}& {\left(\frac{{\partial }^{2}g}{\partial x_n\partial x_2}\right)}_{{𝐱}_{\mathrm{𝟎}}}& \cdots {\left(\frac{{\partial }^{2}g}{\partial x_{nn}}\right)}_{{𝐱}_{\mathrm{𝟎}}}\end{array}\right]$

(13.6)

Na podstawie przedstawienia macierz A (13.5) i macierzy B (13.6) i definicji wektora m jednoczesnych pomiarów (13.3) i definicji wektora m wartości dokładnych tychże wspomnianych pomiarów (13.3), funkcję g możemy napisać w sposób przybliżony wedle schematu:

$g(𝐱)=g({𝐱}_{\mathrm{𝟎}})+A(𝐱-{𝐱}_0)+\frac{1}{2}(𝐱-{𝐱}_{\mathrm{𝟎}}{)}^{T}B(𝐱-{𝐱}_{\mathrm{𝟎}})$

(13.7)

Wedle wzoru (13.1) i przedstawienia funkcji g w szereg Taylora, który wektorowo zapisujemy wedle schematu (13.7), zatem na podstawie wzoru (12.8) dla n pomiarów m wartości prawdopodobieństwo tego zdarzenia zapisujemy wedle:

$P({𝐱}_n)=e^{-\sum _{p=1}^n[g({𝐱}_{\mathrm{𝟎}})+A({𝐱}_p-{𝐱}_0)+\frac{1}{2}({𝐱}_p-{𝐱}_{\mathrm{𝟎}}{)}^{T}B(𝐱-{𝐱}_{\mathrm{𝟎}})]}$

(13.8)

Prawdpodobieństwo uzyskania n pomiarów m różnych wielkości fizycznych (13.8) powinno mieć największe prawdopodobieństwo, gdy we wspomnianym wzorze podstawimy, za każdy pomiar z n doświadczeń podstawimy jego wartość dokładną, w tym celu należy policzyć pierwszą pochodną względem jednego pomiaru z "n" m-wymiarowego wektora jednoczesnych pomiarów, który po dokonaniu wspomnianego podstawienia funkcją prawdopodobieństwa powinna przyjmować wartość ekstremalną, zatem dochodzimy do wniosku, że ta pierwsza pochodna powinna przyjmować wartość zero:

$\frac{\partial P(𝐱)}{\partial {𝐱}_r}=e^{-\sum _{p=1}^n[g({𝐱}_{\mathrm{𝟎}})+A({𝐱}_p-{𝐱}_0)+\frac{1}{2}({𝐱}_p-{𝐱}_{\mathrm{𝟎}}{)}^{T}B(𝐱-{𝐱}_{\mathrm{𝟎}})]}\cdot [A+({𝐱}_r-{𝐱}_0{)}^{T}B+B({𝐱}_r-{𝐱}_0)]$

(13.9)

Pierwsza pochodna (13.9) musi przyjmować wartość zerową, gdy za m-wymiarowe wyniki pomiarów ${𝐱}_r$ podstawimy jego wartości dokładne, zatem na podstawie tychże rozważań dostajemy we wspomnianym wzorze, że wektor poziomy A przyjmuje wartość zero w punkcie ${𝐱}_r={𝐱}_0$. Wedle tychże rozważań prawdopodobieństwo uzyskania n m-wymiarowych pomiarów jest wyrażone przez:

$P({𝐱}_n)=C{e}^{-\frac{1}{2}\sum _{p=1}^n({𝐱}_p-{𝐱}_0{)}^{T}B({𝐱}_p-{𝐱}_0)}$

(13.10)

Dla pojedynczego pomiaru rozkład normalny prawdopodobieństwo uzyskania wektora jednoczesnych pomiarów, przy skorzystaniu ze wzoru (13.10), który mówi coś o uzyskaniu m pomiarów jednoczesnych różnych wartości pomiarów, jest pisana:

$P(𝐱)=C{e}^{-\frac{1}{2}(𝐱-{𝐱}_0{)}^{T}B(𝐱-{𝐱}_0)}$

(13.11)

Na podstawie (13.1) i (13.7) wzór (13.11) po podstawieniu za A wektora zerowego na podstawie powyższych rozważań przedstawia liczbę tych samych wektorów wyników pomiarowych z n niejednoczesnych pomiarów wektora wyników pomiarowych podzielonych przez n. Powyższy wzór jest spełniony, gdy mamy l poziomów, w którym te m-wymiarowe pomiary mogą posiadać składowe o pewnych wartościach. Gdy mamy m-wymiarową zmienne losowe ciągłe, to w tym przypadku gęstość prawdopodobieństwa jest opisywana tym samym wzorem co w przypadku dyskretnym, czyli równaniem (13.11).

Wyznaczenie elementów macierzy B, wartość dokładna a wartość oczekiwana

Macierz (13.6) na podstawie przemienności różniczkowania jest macierzą przemienną względem dowolnego punktu, w którym ta macierz jest obliczona, zatem na podstawie tego można powiedzieć:

$B^T=B$

(13.12)

Dowód równości wartości oczekiwanej i dokładnej

Następnym krokiem jest policzenie wartości oczekiwanej funkcji wektorowej $𝐱-\widehat{𝐱}$, względem funkcji gęstości prawdopodobieństwa $P(𝐱)$ przy m-wymiarowej przestrzeni. Funkcja gęstości prawdopodobieństwa (13.11) jest funkcją parzystą względem argumentu $𝐱-{𝐱}_0$, to wartość średnia względem wspomnianej funkcji jest równa zero ze względu na jej nieparzystość, co poniżej wykorzystano tą własność:

$0=\int (𝐱-{𝐱}_0)P(𝐱)d^n𝐱\Rightarrow \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\cdot \cdot \cdot \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}(𝐱-{𝐱}_0)P(𝐱)d{x}_{1}d{x}_2\mathrm{...}d{x}_m=0$

(13.13)

Na podstawie powyższych rozważań, które zawierają obliczenia (13.13), dochodzimy do wniosku, że m-wymiarowy wektor ${𝐱}_0$ jest wartością oczekiwaną $\widehat{𝐱}$ zmiennej $𝐱$, bo jedynkowy moment μ₁ jest równy zero, tak jak powinno zachodzić zawsze dla tego obiektu statystycznego.

Definicja macierzy B poprzez macierz kowariancji

Korzystając z definicji funkcji prawdopodobieństwa dla pojedynczego m-wymiarowego pomiaru (13.11), to wzór na wartość oczekiwaną (13.13) możemy napisać:

$\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\cdot \cdot \cdot \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}(𝐱-{𝐱}_0)C{e}^{-\frac{1}{2}(𝐱-{𝐱}_0{)}^{T}B(𝐱-{𝐱}_0)}d{x}_{1}d{x}_{2}d{x}_3\mathrm{...}d{x}_m=0$

(13.14)

Zróżniczkujmy obie strony równania (13.14) względem wektora wartości dokładnej, która jest wektorem wartości najprawdopodobnych (oczekiwanych) ${𝐱}_0$, oczywiste jest, że po tej operacji otrzymujemy bardziej skomplikowaną tożsamość, z którego będziemy wyprowadzać macierz B:

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\mathrm{...}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\{-I+[(𝐱-{𝐱}_0)\frac{1}{2}(-1)(𝐱-{𝐱}_0{)}^T{B}^T+\frac{1}{2}(𝐱-{𝐱}_0)(𝐱-{𝐱}_0{)}^{T}B(-1)]\}C{e}^{-\frac{1}{2}(𝐱-{𝐱}_0{)}^{T}B(𝐱-{𝐱}_0)}\cdot$
$\cdot d{x}_{1}d{x}_{2}d{x}_3\mathrm{...}d{x}_m=0$

(13.15)

Korzystając z symetryczności macierzy napisanej w punkcie (13.12) i omówionej dlaczego ta jest, to tożsamość napisana wedle (13.15) przyjmuje postać bardziej uproszczoną postać:

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\mathrm{...}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}[-I+(𝐱-{𝐱}_0)(𝐱-{𝐱}_0{)}^{T}B]C{e}^{-\frac{1}{2}(𝐱-{𝐱}_0{)}^{T}B(𝐱-{𝐱}_0)}d{x}_{1}d{x}_{2}d{x}_3\mathrm{....}d{x}_m=0$

(13.16)

Znów korzystamy z definicji funkcji prawdopodobieństwa (13.11) dla pojedynczego pomiaru, zatem możemy wyrazić tożsamość (13.16) w bardziej prostej postaci:

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\mathrm{...}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}[-I+(𝐱-𝐱)(𝐱-{𝐱}_0{)}^{T}B]P(𝐱)d{x}_{1}d{x}_{2}d{x}_3\mathrm{...}d{x}_m=0$

(13.17)

Wykorzystujemy definicję normowania funkcji gęstości prawdopodobieństwa (2.54), która jest zapisana przy pomocy m-wymiarowej całki gęstości prawdopodobieństwa względem infinitezymalnej objętości należącej do tej przestrzeni przy całkowaniu po wszystkich punktach należących do tej przestrzeni:

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\mathrm{...}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}P(𝐱)d^m𝐱=1$

(13.18)

Korzystajmy ze wzoru na wartość oczekiwaną pewnej funkcji według wzoru (4.21) przy tutaj panującej gęstości funkcji prawdopodobieństwa (13.11), wtedy można wartość oczekiwaną uzyskania m-wymiarowego wektora jednoczesnych pomiarów napisać sposobem:

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\mathrm{...}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(𝐱-{𝐱}_0)(𝐱-{𝐱}_0{)}^{T}P(𝐱)d{x}_{1}d{x}_{2}d{x}_3\mathrm{...}d{x}_m=E[(𝐱-{𝐱}_0)(𝐱-{𝐱}_0)]$

(13.19)

Wykorzystując tożsamość (13.19) i warunek normowania gęstości funkcji prawdopodobieństwa względem m-wymiarowej przestrzeni (13.18), wtedy wyrażenie (13.17) można zapisać wedle równoważnej do poprzedniego wzoru w postaci:

$-I+E[(𝐱-{𝐱}_0)(𝐱-{𝐱}_0)]B=0\Rightarrow I=E[(𝐱-{𝐱}_0)(𝐱-{𝐱}_0{)}^T]B$

(13.20)

Z końcowego równania wynikowego (13.20) wyznaczmy macierz B, korzystając przy tym z wiadomości o macierzach z algebry:

$B^{-1}=E[(𝐱-{𝐱}_0)(𝐱-{𝐱}_0{)}^T]$

(13.21)

Widzimy, że macierz B^-1 jest macierzą kowariancji zdefiniowanej w punkcie według definicji (4.34) przy jego dowodzie przeprowadzonego powyżej:

$C=E[(𝐱-{𝐱}_0)(𝐱-{𝐱}_0{)}^T]=B^{-1}\Rightarrow B=C^{-1}$

(13.22)

Na podstawie tych rozważań końcowych (13.22) macierz B jest odwrotnością macierzy kowariancji C.