線形重回帰分析における「変動の分解」

$X_{1}$ ， $X_{2}$ ，･･･， $X_{m}$ ， $Y$ のデータの組が $n$ 個(標本) あるとする．

データNo.	データ $X_{1}$ （説明変数1）	データ $X_{2}$ （説明変数2）	･･･	データ $X_{m}$ （説明変数m）	データ $Y$ （目的変数）
1	$x_{11}$	$x_{12}$	･･･	$x_{1 m}$	$y_{1}$
2	$x_{21}$	$x_{22}$	･･･	$x_{2 m}$	$y_{2}$
3	$x_{31}$	$x_{32}$	･･･	$x_{3 m}$	$y_{3}$
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$
$n$	$x_{n 1}$	$x_{n 2}$	･･･	$x_{n m}$	$y_{n}$

このデータから求められる標本線形重回帰式は

$\hat{y} = {\hat{β}}_{0} + {\hat{β}}_{1} x_{1} + {\hat{β}}_{2} x_{2} + \dots + {\hat{β}}_{m} x_{m}$ ･･････(1)

${\hat{β}}_{0} \neq 0$

で表されるとすると

$\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}$ $= \sum_{i = 1}^{n} {({\hat{y}}_{i} - \bar{\hat{y}})}^{2} + \sum_{i = 1}^{n} {(e_{i} - \bar{e})}^{2}$ ･･････(2)

備考：(1) 標本から求めた回帰係数は母集団における真の回帰式の回帰係数と異なるので，係数の上にハット記号"^"をつけて区別している．(2) $y$ の値も標本線形単回帰式より求めていることを明示するためににハット記号"^"を付けている． (3) $x_{i j}$ を説明変数の実際の値， $y_{i}$ を目的変数の実際の値， ${\hat{y}}_{i}$ を予測値(回帰式より求めた値)， $e_{i}$ を残差とし．これらの平均値を $\bar{y}$ ， $\bar{\hat{y}}$ ， $\bar{e}$ で表わす．

ただし

$\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}$ ･･････(3)

$\bar{\hat{y}} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{y}}_{i}$ ･･････(4)

$\bar{e} = \frac{1}{n} \sum_{i = 1}^{n} e_{i}$ ･･････(5)

${\hat{y}}_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} x_{i 1} + {\hat{β}}_{2} x_{i 2} + \dots + {\hat{β}}_{m} x_{i m}$ ･･････(6)

残差： $e_{i} = y_{i} - {\hat{y}}_{i}$ ･･････(7)

備考： $\bar{y} = \bar{\hat{y}}$ ， $\bar{e} = 0$ (証明の(43)，(41)を参照のこと)

の関係がある．

$\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}$ ：全変動（Total Variation），あるいは，全平方和（Total Sum of Squares）（以下，TSSと表記）

$\sum_{i = 1}^{n} {({\hat{y}}_{i} - \bar{\hat{y}})}^{2}$ ：回帰変動（Regression Variation），あるいは，回帰平方和(Regression Sum of Squares，あるいは，Sum of Squares due to Regression)（以下，SSRと表記)

$\sum_{i = 1}^{n} {(e_{i} - \bar{e})}^{2}$ ：残差変動（Residual Variation），あるいは，残差平方和(Residual Sum of Squares ( RSS)，あるいは，Sum of Squared Errors)（以下，SSEと表記)

を用いて(2)を書き替えると

全変動(TSS)＝回帰変動(SSR)+残差変動(SSE)　･･････(8)

のような表現もある．(2)，(3)の関係を変動の分解という．

■証明

(6)より

$\begin{array}{l} {\hat{y}}_{1} = {\hat{β}}_{0} + {\hat{β}}_{1} x_{11} + {\hat{β}}_{2} x_{12} + \dots + {\hat{β}}_{m} x_{1 m} \\ {\hat{y}}_{2} = {\hat{β}}_{0} + {\hat{β}}_{1} x_{21} + {\hat{β}}_{2} x_{22} + \dots + {\hat{β}}_{m} x_{2 m} \\ ⋮ \\ {\hat{y}}_{n} = {\hat{β}}_{0} + {\hat{β}}_{1} x_{n 1} + {\hat{β}}_{2} x_{n 2} + \dots + {\hat{β}}_{m} x_{n m} \end{array}$

となる連立方程式が得られる．行列を使って表わすと

$(\begin{matrix} {\hat{y}}_{1} \\ {\hat{y}}_{2} \\ ⋮ \\ {\hat{y}}_{n} \end{matrix}) = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 m} \\ 1 & x_{21} & x_{22} & \dots & x_{2 m} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & x_{n 2} & \dots & x_{n m} \end{matrix}) (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix})$ ･･････(9)

となる．

$(\begin{matrix} {\hat{y}}_{1} \\ {\hat{y}}_{2} \\ ⋮ \\ {\hat{y}}_{n} \end{matrix}) = \hat{y}$ ･･･(10) ，
$(\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 m} \\ 1 & x_{21} & x_{22} & \dots & x_{2 m} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & x_{n 2} & \dots & x_{n m} \end{matrix}) = X$ ･･･(11) ，
$(\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix}) = \hat{β}$ ･･･(12)

とおくと，(9)は

$\hat{y} = X \hat{β}$ ･･････(13)

のように表せる．

$(\begin{matrix} e_{1} \\ e_{2} \\ ⋮ \\ e_{n} \end{matrix}) = e$ ･･････(14) ， $(\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{matrix}) = y$ ･･････(15)

とおくと，(7)より

$e = y - \hat{y}$ ･･････(16)

が得られる．

残差平方和 $S_{S E}$ は

$S_{S E} = \sum_{i = 1}^{n} e_{i}^{2}$ $= \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2}$ $= \sum_{i = 1}^{n} {\{y_{i} - ({\hat{β}}_{0} + {\hat{β}}_{1} x_{i 1} + {\hat{β}}_{2} x_{i 2} + \dots + {\hat{β}}_{m} x_{i m})\}}^{2}$ ･･････(17)

（備考：このページでは残差平方和SSEを数式の見やすさの観点から $S_{S E}$ と表現する）

となる．ベクトルを用いて表すと，(15)より

$S_{S E} = \sum_{i = 1}^{n} e_{i}^{2} = {|e|}^{2} = {|y - \hat{y}|}^{2}$ ･･････(18)

となる． (ベクトルの大きさを参照)

回帰式では， $S_{S E}$ が最小(極小)となるとなるように ${\hat{β}}_{0}$ ， ${\hat{β}}_{1}$ ， ${\hat{β}}_{2}$ ，･･･， ${\hat{β}}_{m}$ が求められている．よって， $S_{S E}$ が極小となるときに成り立つ式

\frac{\partial S_{S E}}{\partial {\hat{β}}_{0}} = 0

･･････(19)

\frac{\partial S_{S E}}{\partial {\hat{β}}_{1}} = 0

･･･(20)，

\frac{\partial S_{S E}}{\partial {\hat{β}}_{2}} = 0

･･･(21)，

･･･，

\frac{\partial S_{S E}}{\partial {\hat{β}}_{m}} = 0

･･･(22)，

を満たす ${\hat{β}}_{0}$ ， ${\hat{β}}_{1}$ ， ${\hat{β}}_{2}$ ，･･･， ${\hat{β}}_{m}$ を求めればよい．

備考：残差平方和の特徴として，極小は存在するが，極大は存在しない．よって，(19)，(20)，(21)，(22)を満たすのは極小のときのみである．

(19)と(18)より

$\frac{\partial}{\partial {\hat{β}}_{0}} \sum_{i = 1}^{n} {\{y_{i} - ({\hat{β}}_{0} + {\hat{β}}_{1} x_{i 1} + {\hat{β}}_{2} x_{i 2} + \dots + {\hat{β}}_{m} x_{i m})\}}^{2} = 0$

$\sum_{i = 1}^{n} \frac{\partial}{\partial {\hat{β}}_{0}} {\{y_{i} - ({\hat{β}}_{0} + {\hat{β}}_{1} x_{i 1} + {\hat{β}}_{2} x_{i 2} + \dots + {\hat{β}}_{m} x_{i m})\}}^{2} = 0$

$\sum_{i = 1}^{n} 2 \{y_{i} - ({\hat{β}}_{0} + {\hat{β}}_{1} x_{i 1} + {\hat{β}}_{2} x_{i 2} + \dots + {\hat{β}}_{m} x_{i m})\} (- 1) = 0$

$\sum_{i = 1}^{n} \{y_{i} - ({\hat{β}}_{0} + {\hat{β}}_{1} x_{i 1} + {\hat{β}}_{2} x_{i 2} + \dots + {\hat{β}}_{m} x_{i m})\} = 0$ ･･････(23)

が得られる．(23) を以下のように式変形をする．

$\sum_{i = 1}^{n} y_{i} - \sum_{i = 1}^{n} ({\hat{β}}_{0} + {\hat{β}}_{1} x_{i 1} + {\hat{β}}_{2} x_{i 2} + \dots + {\hat{β}}_{m} x_{i m}) = 0$

$\sum_{i = 1}^{n} y_{i} = \sum_{i = 1}^{n} ({\hat{β}}_{0} + {\hat{β}}_{1} x_{i 1} + {\hat{β}}_{2} x_{i 2} + \dots + {\hat{β}}_{m} x_{i m})$

$\sum_{i = 1}^{n} y_{i} = \sum_{i = 1}^{n} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix})$

$\sum_{i = 1}^{n} y_{i} = \{\sum_{i = 1}^{n} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix})$

$\sum_{i = 1}^{n} 1 \cdot y_{i}$ $= \{\sum_{i = 1}^{n} 1 \cdot (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix})$ ･･････(24)

(20)と(18)より，同様にして，以下の式が得られる．

$\sum_{i = 1}^{n} x_{i 1} y_{i}$ $= \{\sum_{i = 1}^{n} x_{i 1} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix})$ ･･････(25)

(21)と(18)より，同様にして，以下の式が得られる．

$\sum_{i = 1}^{n} x_{i 2} y_{i}$ $= \{\sum_{i = 1}^{n} x_{i 2} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix})$ ･･････(26)

(22)と(18)より，同様にして，以下の式が得られる．

$\sum_{i = 1}^{n} x_{i m} y_{i}$ $= \{\sum_{i = 1}^{n} x_{i m} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix})$ ･･････(27)

行列を用いて，(24)，(25)，(26)，(27)を1つの式にまとめると

$(\begin{matrix} \sum_{i = 1}^{n} 1 \cdot y_{i} \\ \sum_{i = 1}^{n} x_{i 1} y_{i} \\ \sum_{i = 1}^{n} x_{i 2} y_{i} \\ ⋮ \\ \sum_{i = 1}^{n} x_{i m} y_{i} \end{matrix})$ $= (\begin{matrix} \sum_{i = 1}^{n} 1 \cdot (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \\ \sum_{i = 1}^{n} x_{i 1} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \\ \sum_{i = 1}^{n} x_{i 2} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \\ ⋮ \\ \sum_{i = 1}^{n} x_{i m} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \end{matrix}) (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix})$

$(\begin{matrix} 1 & 1 & \dots & 1 \\ x_{11} & x_{21} & \dots & x_{n 1} \\ x_{12} & x_{22} & \dots & x_{n 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{1 m} & x_{2 m} & \dots & x_{n m} \end{matrix}) (\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{matrix})$

$= (\begin{matrix} 1 & 1 & \dots & 1 \\ x_{11} & x_{21} & \dots & x_{n 1} \\ x_{12} & x_{22} & \dots & x_{n 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{1 m} & x_{2 m} & \dots & x_{n m} \end{matrix}) (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 m} \\ 1 & x_{21} & x_{22} & \dots & x_{2 m} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & x_{n 2} & \dots & x_{n m} \end{matrix}) (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \\ {\hat{β}}_{2} \\ ⋮ \\ {\hat{β}}_{m} \end{matrix})$

${}^{t}X y = {}^{t}X X \hat{β}$ ･･････(28)

となる．この式をさらに変形をする．

${}^{t}X y - {}^{t}X X \hat{β} = 0$

${}^{t}X (y - X \hat{β}) = 0$

(13)を代入する．

${}^{t}X (y - \hat{y}) = 0$

(16)を用いると

${}^{t}X e = 0$ ･･････(29)

が得られる． $X$ の各列を

$(\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = x_{0}$ ･･(30) ，
$(\begin{matrix} x_{11} \\ x_{21} \\ ⋮ \\ x_{n 1} \end{matrix}) = x_{1}$ ･･(31) ，
$(\begin{matrix} x_{12} \\ x_{22} \\ ⋮ \\ x_{n 2} \end{matrix}) = x_{2}$ ･･(32)
，･･･，
$(\begin{matrix} x_{1 m} \\ x_{2 m} \\ ⋮ \\ x_{n m} \end{matrix}) = x_{m}$ ･･(33)

とおくと，(29)より

${}^{t}x_{0} e = 0$ ･･(34) ，
${}^{t}x_{1} e = 0$ ･･(35) ，
${}^{t}x_{2} e = 0$ ･･(36)
，･･･，
${}^{t}x_{m} e = 0$ ･･(37)

の関係が得られる．

$\hat{y}$ を $x_{0}$ ， $x_{1}$ ， $x_{2}$ ，･･･， $x_{m}$ を使って表わすと

$\hat{y} = {\hat{β}}_{0} x_{0} + {\hat{β}}_{1} x_{1} + {\hat{β}}_{2} x_{2} + \dots + {\hat{β}}_{m} x_{m}$ ･･････(38)

となる．

(38)を用いて，以下のような計算をする．

${}^{t}{\hat{y}} e = {}^{t}{({\hat{β}}_{0} x_{0} + {\hat{β}}_{1} x_{1} + {\hat{β}}_{2} x_{2} + \dots + {\hat{β}}_{m} x_{m})} e$

この転置行列の性質を用いると

${}^{t}{\hat{y}} e = \{{}^{t}{({\hat{β}}_{0} x_{0})} + {}^{t}{({\hat{β}}_{1} x_{1})} + {}^{t}{({\hat{β}}_{2} x_{2})} + \dots + {}^{t}{({\hat{β}}_{m} x_{m})}\} e$

この転置行列の性質を用いると

${}^{t}{\hat{y}} e = \{{\hat{β}}_{0} {}^{t}x_{0} + {\hat{β}}_{1} {}^{t}x_{1} + {\hat{β}}_{2} {}^{t}x_{2} + \dots + {\hat{β}}_{m} {}^{t}x_{m}\} e$

この行列の性質を使うと

${}^{t}{\hat{y}} e = {\hat{β}}_{0} {}^{t}x_{0} e + {\hat{β}}_{1} {}^{t}x_{1} e + {\hat{β}}_{2} {}^{t}x_{2} e + \dots + {\hat{β}}_{m} {}^{t}x_{m} e$

(34)，(35)，(36)，(37)より

$\hat{y} \cdot e = 0$ ･･････(39)

( ${}^{t}{\hat{y}} e = \hat{y} \cdot e$ 関しては，内積を参照)

の関係が成り立っている．

${|y|}^{2}$ の計算をすると

${|y|}^{2} = y \cdot y$ (ベクトルの大きさと内積の関係を参照)

(15)の関係を用いると

$= (\hat{y} + e) \cdot (\hat{y} + e)$

内積の計算の基本則を用いると

$= (\hat{y} + e) \cdot \hat{y} + (\hat{y} + e) \cdot e$

$= \hat{y} \cdot \hat{y} + e \cdot \hat{y} + + \hat{y} \cdot e + e \cdot e$

$= {|\hat{y}|}^{2} + {|e|}^{2}$ ･･････(40)

となる．

(34)を以下のように式変形をする．

${}^{t}x_{0} e = 0$

$(\begin{matrix} 1 & 1 & \dots & 1 \end{matrix}) (\begin{matrix} e_{1} \\ e_{2} \\ ⋮ \\ e_{n} \end{matrix}) = 0$

$e_{1} + e_{2} + \dots + e_{n} = 0$

$\frac{1}{n} (e_{1} + e_{2} + \dots + e_{n}) = 0$

$\frac{1}{n} \sum_{i = 1}^{n} e_{i} = 0$

$\bar{e} = 0$ ･･････(41)

すなわち，残差の平均 $\bar{e}$ は0となる．

(7)を用いて以下の計算をする．

$\frac{1}{n} \sum_{i = 1}^{n} e_{i} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})$

$\frac{1}{n} \sum_{i = 1}^{n} e_{i} = \frac{1}{n} \sum_{i = 1}^{n} y_{i} - \frac{1}{n} \sum_{i = 1}^{n} {\hat{y}}_{i}$

(3)，(4)，(5)より

$\bar{e} = \bar{y} - \bar{\hat{y}}$ ･･････(42)

(41)，(42)より

$\bar{y} = \bar{\hat{y}}$ ･･････(43)

の関係が得られる．

全変動 $\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}$ の計算を以下のように進める．

$\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2} = {|y - \bar{y}|}^{2}$

$= (y - \bar{y}) \cdot (y - \bar{y})$

$\bar{y} = (\begin{matrix} \bar{y} \\ \bar{y} \\ ⋮ \\ \bar{y} \end{matrix}) = \bar{y} (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = \bar{y} x_{0}$ ･･････(44) とおくと

$= (y - \bar{y} x_{0}) \cdot (y - \bar{y} x_{0})$

$= (\hat{y} + e - \bar{y} x_{0}) \cdot (\hat{y} + e - \bar{y} x_{0})$

$= (\hat{y} + e - \bar{y} x_{0}) \cdot \hat{y}$ $+ (\hat{y} + e - \bar{y} x_{0}) \cdot e$ $- (\hat{y} + e - \bar{y} x_{0}) \cdot (\bar{y} x_{0})$

$= \hat{y} \cdot \hat{y} + e \cdot \hat{y} - \bar{y} (x_{0} \cdot \hat{y})$ $+ \hat{y} \cdot e + e \cdot e - \bar{y} x_{0} \cdot e$ $- \bar{y} (\hat{y} \cdot x_{0}) - \bar{y} (e \cdot \hat{y}) + {\bar{y}}^{2} (x_{0} \cdot x_{0})$

(34)から(38)を適用すると

$x_{0} \cdot e = {}^{t}x_{0} e = 0$

$e \cdot \hat{y} = e \cdot ({\hat{β}}_{0} x_{0} + {\hat{β}}_{1} x_{1} + {\hat{β}}_{2} x_{2} + \dots + {\hat{β}}_{m} x_{m})$

$= e \cdot ({\hat{β}}_{0} x_{0}) + e \cdot ({\hat{β}}_{0} x_{1}) + e \cdot ({\hat{β}}_{0} x_{2}) + \dots + e \cdot ({\hat{β}}_{m} x_{m})$

$= {\hat{β}}_{0} (e \cdot x_{0}) + {\hat{β}}_{1} (e \cdot x_{1}) + {\hat{β}}_{2} (e \cdot x_{2}) + \dots + {\hat{β}}_{m} (e \cdot x_{m})$

$= {\hat{β}}_{0} (x_{0} \cdot e) + {\hat{β}}_{1} (x_{1} \cdot e) + {\hat{β}}_{2} (x_{2} \cdot e) + \dots + {\hat{β}}_{m} (x_{m} \cdot e)$

$= {\hat{β}}_{0} ({}^{t}x_{0} e) + {\hat{β}}_{1} ({}^{t}x_{1} e) + {\hat{β}}_{2} ({}^{t}x_{2} e) + \dots + {\hat{β}}_{m} ({}^{t}x_{m} e)$

$= 0$

同様にして

$\hat{y} \cdot e = 0$

$= \hat{y} \cdot \hat{y} - 2 \bar{y} (x_{0} \cdot \hat{y}) + {\bar{y}}^{2} (x_{0} \cdot x_{0}) + e \cdot e$

$= (\hat{y} - \bar{y} x_{0}) \cdot (\hat{y} - \bar{y} x_{0}) + e \cdot e$

(43) と(41)を用いると以下のように式変形できる．

$= (\hat{y} - \bar{\hat{y}} x_{0}) \cdot (\hat{y} - \bar{\hat{y}} x_{0})$ $+ (e - \bar{e} x_{0}) \cdot (e - \bar{e} x_{0})$

$\bar{\hat{y}}$ ， $\bar{e}$ を次のように定義する．

$\bar{\hat{y}} = (\begin{matrix} \bar{\hat{y}} \\ \bar{\hat{y}} \\ ⋮ \\ \bar{\hat{y}} \end{matrix}) = \bar{\hat{y}} (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = \bar{\hat{y}} x_{0}$ ･･････(45) ，
$\bar{e} = (\begin{matrix} \bar{e} \\ \bar{e} \\ ⋮ \\ \bar{e} \end{matrix}) = \bar{e} (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = \bar{e} x_{0}$ ･･････(46)

$= (\hat{y} - \bar{\hat{y}}) \cdot (\hat{y} - \bar{\hat{y}})$ $+ (e - \bar{e}) \cdot (e - \bar{e})$

$= {|\hat{y} - \bar{\hat{y}}|}^{2} + {|e - \bar{e}|}^{2}$

$= \sum_{i = 1}^{n} {({\hat{y}}_{i} - \bar{y})}^{2} + \sum_{i = 1}^{n} {(e_{i} - \bar{e})}^{2}$

以上より，(2)が証明された．

ホーム>>カテゴリー分類>>確率>>統計>>線形重回帰分析における「変動の分解」

　最終更新日： 2026年7月22日