残差平方和の期待値(線形単回帰分析の場合)

$X$ ， $Y$ のデータの組が $n$ 個あるとする（標本）．

このデータから求められる残差平方和 ${\displaystyle S_{SE}}$ の期待値は誤差の分散を ${\displaystyle {\sigma }^2}$ とすると

${\displaystyle E\left(S_{SE}\right)=\left(n-2\right){\sigma }^2}$

（備考：このページでは残差平方和SSEを数式の見やすさの観点から${\displaystyle S_{SE}}$と表現する）

となる．

■導出

$n$ 個のデータ（標本）から求めた線形単回帰式を

${\displaystyle \widehat{y}={\widehat{\beta }}_0+{\widehat{\beta }}_{1}x}$   ･･････(1)

標本から最小二乗法により求めた回帰係数であることを明確にするために回帰係数にハット記号"^"を付けている．

母集団から求めた線形単回帰式を

${\displaystyle {\mu }_y={\beta }_0+{\beta }_{1}x}$   ･･････(2)

（${\mu }_y$は$x$に対する$y$の予測値を示す．）

とする．

${\displaystyle x_i}$ に対する(1)より求めた予測値を ${\displaystyle {\widehat{y}}_i}$ とすると

${\displaystyle {\widehat{y}}_i={\widehat{\beta }}_0+{\widehat{\beta }}_1{x}_i}$   ･･････(3)

${\displaystyle x_i}$ に対する(2)より求めた予測値を ${\displaystyle {\mu }_i}$ とすると

${\displaystyle {\mu }_i={\beta }_0+{\beta }_1{x}_i}$   ･･････(4)

となる．

残差 ${\displaystyle e_i}$ は

${\displaystyle e_i=y_i-{\widehat{y}}_i=y_i-{\widehat{\beta }}_0-{\widehat{\beta }}_1{x}_i}$   ･･････(5)

誤差 ${\displaystyle {\epsilon }_i}$は

${\displaystyle {\epsilon }_i=y_i-{\mu }_i=y_i-{\beta }_0-{\beta }_1{x}_i}$   ･･････(6)

である．

(5)より以下の連立方程式が得られる．

${\displaystyle \left\{\begin{array}{l}{y}_1={\widehat{\beta }}_0+{\widehat{\beta }}_1{x}_1+e_1\\ y_2={\widehat{\beta }}_0+{\widehat{\beta }}_1{x}_2+e_2\\ ⋮\\ y_n={\widehat{\beta }}_0+{\widehat{\beta }}_1{x}_n+e_n\end{array}\right.}$   ･･････(7)

ここで

${\displaystyle y=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)}$   ･･･(8) ， ${\displaystyle X=\left(\begin{array}{cc}1& x_1\\ 1& x_2\\ ⋮& ⋮\\ 1& x_n\end{array}\right)}$   ･･･(9)，   ･･･(10) ，   ･･･(11)

注意：確率変数の $X$ と区別するために，このページでは行列を太字で表わすことにする．

とおくと，(7)は

  ･･････(12)

と表現できる．

(6)より同様にして

${\displaystyle y=X\beta +\epsilon }$   ･･････(13)

ただし

${\displaystyle \beta =\left(\begin{array}{c}{\beta }_0\\ {\beta }_1\end{array}\right)}$   ･･････(14) ， ${\displaystyle \epsilon =\left(\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ⋮\\ {\epsilon }_n\end{array}\right)}$   ･･････(15)

である．

  ･･････(16) ，   ･･････(17)

とおくと

(5)より

  ･･････(18)

(6)より

  ･･････(19)

残差平方和 ${\displaystyle S_{SE}}$ は

${\displaystyle S_{SE}={\displaystyle \sum _{i=1}^n{e}_i^2}}$

(5)を代入すると

${\displaystyle ={\displaystyle \sum _{i=1}^n{\left(y_i-{\widehat{\beta }}_0-{\widehat{\beta }}_1{x}_i\right)}^2}}$   ･･････(20)

である．回帰係数 ${\displaystyle {\widehat{\beta }}_0}$ ， ${\displaystyle {\widehat{\beta }}_1}$ は， $S_{SE}$ が最小になるように調整されているので， ${\displaystyle {\widehat{\beta }}_0}$ ， ${\displaystyle {\widehat{\beta }}_1}$ を変数と考えたとき以下の２つの式が成り立つ．

${\displaystyle \frac{\partial S_{SE}}{\partial {\widehat{\beta }}_0}=0}$   ･･････(21)

${\displaystyle \frac{\partial S_{SE}}{\partial {\widehat{\beta }}_1}=0}$   ･･････(22)

(21)，(22)の連立方程式を解くことにより以下の式が得られる．

  ･･････(23)

(23)を(12)に代入する．

  ･･････(24)

${\displaystyle =\left\{I-X{\left({}^{t}XX\right)}^{-1}{}^{t}X\right\}y}$   ･･････(25)

注意：このページでは，期待値を表わす記号 $E$ と区別するために単位行列は ${\displaystyle I}$ を使うことにする．

(20)の ${\displaystyle S_{SE}}$ を(11)の を用いて表す．

  ･･････(26)

(26)に(25)を代入する．

ここでの計算の結果より

${\displaystyle ={}^{t}y\left\{I-X{\left({}^{t}XX\right)}^{-1}{}^{t}X\right\}y}$   ･･････(27)

(27)に(13)を代入する．

ここでの計算の結果より

${\displaystyle ={}^t\epsilon \left\{I-X{\left({}^{t}XX\right)}^{-1}{}^{t}X\right\}\epsilon }$

  ･･････(29)

${\displaystyle ={\displaystyle \sum _{j=1}^n\left({\displaystyle \sum _{i=1}^n{m}_{ij}{\epsilon }_i}\right){\epsilon }_j}}$

${\displaystyle ={\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^n{m}_{ij}{\epsilon }_i}{\epsilon }_j}}$

${\displaystyle E\left(S_{SE}\right)=E\left({\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^n{m}_{ij}{\epsilon }_i}{\epsilon }_j}\right)}$

${\displaystyle ={\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^{n}E\left(m_{ij}{\epsilon }_i{\epsilon }_j\right)}}}$

${\displaystyle ={\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^n{m}_{ij}E\left({\epsilon }_i{\epsilon }_j\right)}}}$

前提条件(ii)の ${\displaystyle i\ne j}$ のとき ${\displaystyle \text{Cov}\left({\epsilon }_i,{\epsilon }_j\right)=0}$ より， ${\displaystyle i\ne j}$ のとき ${\displaystyle E\left({\epsilon }_i{\epsilon }_j\right)=0}$ となる．よって

${\displaystyle ={\displaystyle \sum _{i=1}^n{m}_{ii}E\left({\epsilon }_i{\epsilon }_i\right)}}$

前提条件(i)の ${\displaystyle E\left({\epsilon }_i^2\right)=V\left({\epsilon }_i\right)={\sigma }^2}$ より

${\displaystyle ={\displaystyle \sum _{i=1}^n{m}_{ii}{\sigma }^2}}$

${\displaystyle ={\sigma }^2{\displaystyle \sum _{i=1}^n{m}_{ii}}}$

${\displaystyle {\displaystyle \sum _{i=1}^n{m}_{ii}=\text{tr}}M}$ より

${\displaystyle ={\sigma }^2\text{tr}M}$

ここでの計算の結果より

${\displaystyle =\left(n-2\right){\sigma }^2}$

 

ホーム>>カテゴリー分類>>確率>>統計>>残差平方和の期待値(線形単回帰分析の場合)

　最終更新日： 2026年7月22日