誤差の分散と残差平方和の比率の確率分布

${\displaystyle S_{SE}}$ は残差平方和，誤差 ${\displaystyle {\epsilon }_i}$ の分散 ${\displaystyle {\sigma }^2}$ とすると， ${\displaystyle \frac{S_{SE}}{{\sigma }^2}}$ は自由度 ${\displaystyle n-2}$ の ${\chi }^2$ 分布に従う．

（備考：このページでは残差平方和SSEを数式の見やすさの観点から${\displaystyle S_{SE}}$と表現する）

■証明

誤差 ${\displaystyle {\epsilon }_i}$ を成分とするベクトル ${\displaystyle \epsilon }$ を

${\displaystyle \epsilon =\left(\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ⋮\\ {\epsilon }_n\end{array}\right)}$   ･･････(1)

とする．

【誤差の前提条件】

（誤差は観測できない場合が多い．そのようなとき，回帰分析では以下のような仮定をすることがよくある．）

誤差はランダムに生じ、平均 $0$ の正規分布に従うと仮定する．式で表現すると以下のようになる．

1. ${\displaystyle {\epsilon }_i\sim N\left(0,{\sigma }^2\right)}$ ：誤差は正規分布に従い，その平均は $0$ （ ${\displaystyle E\left({\epsilon }_i\right)=0}$ ）， その分散は ${\displaystyle {\sigma }^2}$ （ ${\displaystyle E\left({\epsilon }_i^2\right)=V\left({\epsilon }_i\right)={\sigma }^2}$ ），である．
2. ${\displaystyle i\ne j}$ のとき， ${\epsilon }_i$ と ${\epsilon }_j$ は互いに独立である（独立ならば無相関であるから， ${\displaystyle i\ne j}$ のとき共分散 ${\displaystyle \text{Cov}\left({\epsilon }_i,{\epsilon }_j\right)=0}$ である（ここを参照））．

上記(i)，(ii)を一つの式で表すと

${\displaystyle \epsilon \sim N\left(0,{\sigma }^2{I}_n\right)}$   ･･････(2)

となる．

${\displaystyle z=\frac{\epsilon }{\sigma }}$   ･･････(3)

とおくと

${\displaystyle z\sim N\left(0,I_n\right)}$   ･･････(4)

となる．

線形重回帰分析における残差平方和の期待値の(29)は

${\displaystyle S_{SE}={}^t\epsilon M\epsilon }$   ･･････(5)

の関係があることを示している．(5)の両辺を ${\displaystyle {\sigma }^2}$ で割ると

${\displaystyle \frac{S_{SE}}{{\sigma }^2}=\frac{1}{{\sigma }^2}\left({}^t\epsilon M\epsilon \right)}$

${\displaystyle \frac{S_{SE}}{{\sigma }^2}={}^t\left(\frac{\epsilon }{\sigma }\right)M\left(\frac{\epsilon }{\sigma }\right)}$   ･･････(6)

(6)に(3)を代入する．

${\displaystyle \frac{S_{SE}}{{\sigma }^2}={}^{t}zMz}$   ･･････(7)

${\displaystyle M}$ は実対称行列であるので，適当な直交行列 $P$ により対角化可能であるので

${\displaystyle {}^{t}PMP=\left(\begin{array}{cccc}{\lambda }_1& & & 0\\ & {\lambda }_2& & \\ & & \ddots & \\ 0& & & {\lambda }_n\end{array}\right)}$   ･･････(8)

と対角化することができる．

一方， ${\displaystyle M}$ は 冪等 べきとう 行列であるので，固有値 $\lambda$ は $0$ か $1$ である．さらに， ${\displaystyle \text{tr}M=n-2}$ より，固有値が $1$ である固有値の数は $n-2$ 個である．

したがって，(8)は

${\displaystyle {}^{t}PMP=\left(\begin{array}{cccccc}1& & & & & 0\\ & 1& & & & \\ & & \ddots & & & \\ & & & 1& & \\ & & & & 0& \\ 0& & & & & 0\end{array}\right)}$ ${\displaystyle =\left(\begin{array}{cc}{I}_{n-2}& 0\\ 0& 0_2\end{array}\right)}$   ･･････(9)

のように書き換えられる．

${\displaystyle z=Pw}$   ･･････(10)

とおくと，(7)は

${\displaystyle \frac{S_{SE}}{{\sigma }^2}={}^t\left(Pw\right)M\left(Pw\right)}$ ${\displaystyle ={}^{t}w{}^{t}PMPw}$ ${\displaystyle ={}^{t}w\left(\begin{array}{cc}{I}_{n-2}& 0\\ 0& 0_2\end{array}\right)w}$ ${\displaystyle ={\displaystyle \sum _{i=1}^{n-2}{w}_i^2}}$   ･･････(11)

と式変形できる．

一方，(10)より

${\displaystyle w=P^{-1}z}$   ･･････(12)

${\displaystyle P}$ が直交行列より， ${\displaystyle P^{-1}={}^{t}P}$ である．よって

${\displaystyle w={}^{t}Pz}$   ･･････(13)

でもある．

${\displaystyle E\left(w\right)=E\left({}^{t}Pz\right)}$   （∵(13)）

${\displaystyle ={}^{t}PE\left(z\right)}$   （∵確率ベクトルの期待値の性質）

${\displaystyle =0}$   （∵(4)より ${\displaystyle E\left(z\right)=0}$ ）  ･･････(14)

${\displaystyle \text{Var}\left(w\right)=E\left(\left({}^{t}Pz\right){}^t\left({}^{t}Pz\right)\right)}$  （分散共分散行列を参照）

${\displaystyle =E\left({}^{t}Pz{}^{t}zP\right)}$

${\displaystyle ={}^{t}PE\left(z{}^{t}z\right)P}$     （∵確率ベクトルの期待値の性質）

${\displaystyle ={}^{t}P{I}_{n}P}$   （∵(4)より ${\displaystyle E\left(z\right)=0}$ ． ${\displaystyle \text{Var}\left(z\right)=E\left(z{}^{t}z\right)-E\left(z\right)E\left({}^{t}z\right)}$ ${\displaystyle =E\left(z{}^{t}z\right)=I_n}$ ）

${\displaystyle ={}^{t}PP}$

${\displaystyle =P^{-1}P}$

${\displaystyle =I_n}$   ･･････(15)

(12)より ${\displaystyle w}$ は ${\displaystyle {}^{t}P}$ (直交行列 ${\displaystyle P}$ の転置（＝逆行列）)で ${\displaystyle z}$ を一次変換しているので， ${\displaystyle w}$ は正規性がある(多変量正規分布を参照)． (14)より ${\displaystyle w}$ の平均ベクトルは ${\displaystyle 0}$ ，(15)より分散共分散行列は ${\displaystyle I_n}$ となり， ${\displaystyle w\sim N\left(0,I_n\right)}$ となる．よって， ${\displaystyle w_i}$ は標準正規分布に従い，互いに独立である．したがって，(11)より ${\displaystyle {\displaystyle \sum _{i=1}^{n-2}{w}_i^2}}$ は自由度 ${\displaystyle n-2}$ の ${\chi }^2$ 分布に従う．すなわち

${\displaystyle \frac{S_{SE}}{{\sigma }^2}}$ は自由度 ${\displaystyle n-2}$ の ${\chi }^2$ 分布に従う．

ことが導かれる．

 

ホーム>>カテゴリー分類>>>>確率統計>>誤差の分散と残差平方和の比率の確率分布

　最終更2026年7月22日