Twierdzenie Gaussa-Markowa – twierdzenie statystyki mówiące, że estymator najmniejszych kwadratów jest (o ile jest on stosowalny) najlepszym (tj. mającym najmniejszą wariancję) estymatorem spośród liniowych, nieobciążonych estymatorów liniowego modelu regresji[1].
Niech dany będzie model regresji liniowej, zapisany w notacji macierzowej:
![{\displaystyle {\underline {y}}=X{\underline {\beta }}+{\underline {\varepsilon }},\quad ({\underline {y}},{\underline {\varepsilon }}\in \mathbb {R} ^{n},{\underline {\beta }}\in \mathbb {R} ^{K},X\in \mathbb {R} ^{n\times K}),}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/3a64967e0414a710dab2e8e0333d92eb38d11082)
tj.
![{\displaystyle y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}\quad (i=1,2,\dots ,n),}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/aa13c03d02c09b9fc30d7379f74d188245595e5a)
gdzie
są współczynnikami modelu,
są zmiennymi objaśniającymi natomiast
są zmiennymi losowymi błędu (nazywanymi czasami szumem). W przypadku modelu regresji ze stałą, wprowadza się dodatkowy współczynnik
oraz odpowiadającą mu kolumnę jedynek:
dla wszelkich
Założenia twierdzenia Gaussa-Markowa:
dla wszelkich ![{\displaystyle i.}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/6ffcf9ad7ad44f04fa43c5b604b4801e089981cb)
![{\displaystyle {\mathsf {Var}}(\varepsilon _{i})=\sigma ^{2}<\infty ,}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/e495e7696b1c5804c0462395d41d6875c974737c)
- szumy są parami nieskorelowane:
![{\displaystyle {\mathsf {Cov}}(\varepsilon _{i},\varepsilon _{j})=0,\quad (i\neq j).}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/d371752097134d1dfcc3944386d21d0d8d12b634)
Liniowy estymator
jest po prostu kombinacją liniową
![{\displaystyle {\widehat {\beta }}_{j}=c_{1j}y_{1}+\ldots +c_{nj}y_{n},}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/ad47d56f7e0a1747e0ba0aab72fe8965273122ba)
w której współczynniki
nie zależą od
ale mogą zależeć od
Z definicji, estymator
jest nieobciążony, gdy
![{\displaystyle {\mathsf {E}}\left[{\widehat {\beta }}_{j}\right]=\beta _{j}.}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/cbdfb059a567b934d531db4dad94b031cf9a6c2c)
Niech
![{\displaystyle \sum \nolimits _{j=1}^{K}\lambda _{j}\beta _{j}}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/93f5d05ef6abcd73cb8fa18e058bc38722ee6957)
będzie kombinacją liniową współczynników. Wówczas błąd średniokwadratowy odpowiadający takiemu oszacowaniu wynosi
![{\displaystyle {\mathsf {E}}\left[\left(\sum _{j=1}^{K}\lambda _{j}\left({\widehat {\beta }}_{j}-\beta _{j}\right)\right)^{2}\right],}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/f957adf4740a8935182328ea858dd6df1c1a8642)
Z uwagi na to, że rozważane tu estymatory są nieobciążone, błąd średniokwadratowy jest równy wariancji rzeczonej kombinacji liniowej. Najlepszym nieobciążonym estymatorem (ang. BLUE) jest wektor
o parametrach
którego błąd średniokwadratowy jest najmniejszy spośród wszystkich wektorów
będących kombinacjami liniowymi parametrów. Równoważnie, macierz
![{\displaystyle {\mathsf {Var}}\left({\widetilde {\beta }}\right)-{\mathsf {Var}}\left({\widehat {\beta }}\right)}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/4f22c163becf0fa07d12ba64a8e6ae011e68674e)
jest nieujemnie określona dla każdego liniowego, nieobciążonego estymatora
(zob. uwagi o dowodzie). Estymator najmniejszych kwadratów (ang. OLS) to funkcja
![{\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'y}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/31a45b0fb09a6512ec6bafc36bb386030df8bdd0)
zależna od
oraz
(gdzie
oznacza transpozycję macierzy
). Funkcja ta minimalizuje sumę kwadratów błędów przypadkowych, tj.
![{\displaystyle \sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}=\sum _{i=1}^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/8718317d8b53b5791069626a8f3d77a107469aa3)
Twierdzenie Gaussa-Markowa orzeka, że
- estymator średniokwadraowy (OLS) jest najlepszym nieobciążonym liniowym estymatorem (BLUE)[2].
Niech
będzie dowolnym liniowym etymatorem
gdzie
a
jest
niezerową macierzą. Zakładając nieobciążoność, najlepszy estymator nieobciążony to estymator o minimalnej wariancji. By zakończyć dowód należy wykazać, że wariancja
nie jest mniejsza od wariancji
tj. estymatora najmniejszych kwadratów.
![{\displaystyle {\begin{aligned}{\mathsf {E}}\left[{\tilde {\beta }}\right]&={\mathsf {E}}[Cy]\\&={\mathsf {E}}\left[\left((X'X)^{-1}X'+D\right)(X\beta +\varepsilon )\right]\\&=\left((X'X)^{-1}X'+D\right)X\beta +\left((X'X)^{-1}X'+D\right){\mathsf {E}}[\varepsilon ]\\&=\left((X'X)^{-1}X'+D\right)X\beta &&{\mathsf {E}}[\varepsilon ]=0\\&=(X'X)^{-1}X'X\beta +DX\beta \\&=(I_{K}+DX)\beta .\end{aligned}}}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/8de10b3ab08dda270fe4175a71bb419a2d5867cf)
Oznacza to, że estymator
jest nieobciążony wtedy i tylko wtedy, gdy
W tym wypadku:
![{\displaystyle {\begin{aligned}{\mathsf {Var}}\left({\tilde {\beta }}\right)&={\mathsf {Var}}(Cy)\\&=C{\mathsf {Var}}(y)C'\\&=\sigma ^{2}CC'\\&=\sigma ^{2}\left((X'X)^{-1}X'+D\right)\left(X(X'X)^{-1}+D'\right)\\&=\sigma ^{2}\left((X'X)^{-1}X'X(X'X)^{-1}+(X'X)^{-1}X'D'+DX(X'X)^{-1}+DD'\right)\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}(X'X)^{-1}(DX)'+\sigma ^{2}DX(X'X)^{-1}+\sigma ^{2}DD'\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'&&DX=0\\&={\mathsf {Var}}\left({\widehat {\beta }}\right)+\sigma ^{2}DD'&&\sigma ^{2}(X'X)^{-1}={\mathsf {Var}}\left({\widehat {\beta }}\right)\end{aligned}}}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/f2be5fd31194fbe39e73d3f8ce2d61df036900e4)
Macierz DD' jest nieujemnie określona,
dominuje zatem
poprzez macierz nieujemnie określoną[3] (zob. uwagi o dowodzie).
Powyższy dowód opiera się na równoważności warunku
![{\displaystyle {\mathsf {Var}}\left({\tilde {\beta }}\right)-{\mathsf {Var}}\left({\widehat {\beta }}\right)\geqslant 0}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/d81ddb8a203757069bb282e1a307b5397193a3dd)
z tym, że najlepszym (tj. mającym minimalną wariancję) estymatorem
jest
Zależność taka istotnie zachodzi. Niech
będzie dowolnym liniowym, nieobciążonym estymatorem
Wówczas
![{\displaystyle {\begin{aligned}{\mathsf {Var}}\left(\ell ^{t}{\tilde {\beta }}\right)&=\ell ^{t}{\mathsf {Var}}\left({\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell +\ell ^{t}DD^{t}\ell \\&={\mathsf {Var}}\left(\ell ^{t}{\widehat {\beta }}\right)+(D^{t}\ell )^{t}(D^{t}\ell )&&\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell ={\mathsf {Var}}\left(\ell ^{t}{\widehat {\beta }}\right)\\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+\|D^{t}\ell \|\\&\geqslant {\mathsf {Var}}\left(\ell ^{t}{\widehat {\beta }}\right)\end{aligned}}}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/beea419a9343edc7cd8f9c8f475206d206813d8e)
W tym wypadku, równość zachodzi wtedy i tylko wtedy, gdy
Zachodzi wówczas
![{\displaystyle {\begin{aligned}\ell ^{t}{\tilde {\beta }}&=\ell ^{t}\left(((X'X)^{-1}X'+D)Y\right)&&{\text{ }}\\&=\ell ^{t}(X'X)^{-1}X'Y+\ell ^{t}DY\\&=\ell ^{t}{\widehat {\beta }}+(D^{t}\ell )^{t}Y\\&=\ell ^{t}{\widehat {\beta }}&&D^{t}\ell =0\end{aligned}}}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/1ca4dbe428e454fadbfb1bbc380694e2fb0f4b0f)
Oznacza to, że równość zachodzi wtedy i tylko wtedy, gdy
![{\displaystyle \ell ^{t}{\tilde {\beta }}=\ell ^{t}{\widehat {\beta }},}](http://178.128.105.246/cars-https-wikimedia.org/api/rest_v1/media/math/render/svg/456e39b3b046bcf39dd8c8e8f14ab8c834e85bc7)
co implikuje jedyność estymatora najmniejszych kwadratów (OLS) jako estymatora BLUE[4].
- N.H. Bingham, J.M. Fry, Regression: Linear Models in Statistics, Springer Undergraduate Mathematics Series, 2010.
- A. Sen, M. Srivastava, Regression Analysis Theory, Methods, and Applications, Springer-Verlag, New York, 1990.