線形重回帰分析における「変動の分解」

$X_{1}$ ， $X_{2}$ ，･･･， $X_{m}$ ， $Y$ のデータの組が $n$ 個あるとする．

データNo.	データ $X_{1}$ （説明変数1）	データ $X_{2}$ （説明変数2）	･･･	データ $X_{m}$ （説明変数m）	データ $Y$ （目的変数）
1	$x_{11}$	$x_{12}$	･･･	$x_{1 m}$	$y_{1}$
2	$x_{21}$	$x_{22}$	･･･	$x_{2 m}$	$y_{2}$
3	$x_{31}$	$x_{32}$	･･･	$x_{3 m}$	$y_{3}$
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$
$n$	$x_{n 1}$	$x_{n 2}$	･･･	$x_{n m}$	$y_{n}$

このデータから求められる線形重回帰式は

$\hat{y} = β_{0} + β_{1} x_{1} + β_{2} x_{2} + \dots + β_{m} x_{m}$ ･･････(1)

$β_{0} \neq 0$

で表されるとすると

$\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}$ $= \sum_{i = 1}^{n} {({\hat{y}}_{i} - \bar{\hat{y}})}^{2} + \sum_{i = 1}^{n} {(e_{i} - \bar{e})}^{2}$ ･･････(2)

備考： $x_{i j}$ を説明変数の実際の値， $y_{i}$ を目的変数の実際の値， ${\hat{y}}_{i}$ を予測値(回帰式より求めた値)， $e_{i}$ を残差とし．これらの平均値を $\bar{y}$ ， $\bar{\hat{y}}$ ， $\bar{e}$ で表わす．

ただし

$\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}$ ･･････(3)

$\bar{\hat{y}} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{y}}_{i}$ ･･････(4)

$\bar{e} = \frac{1}{n} \sum_{i = 1}^{n} e_{i}$ ･･････(5)

${\hat{y}}_{i} = β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + \dots + β_{m} x_{i m}$ ･･････(6)

残差： $e_{i} = y_{i} - {\hat{y}}_{i}$ ･･････(7)

備考： $\bar{y} = \bar{\hat{y}}$ ， $\bar{e} = 0$ (証明の(43)，(41)を参照のこと)

の関係がある．

$\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}$ ：全変動（Total Variation），あるいは，全平方和（Total Sum of Squares）（以下，TSSと表記）

$\sum_{i = 1}^{n} {({\hat{y}}_{i} - \bar{\hat{y}})}^{2}$ ：回帰変動（Regression Variation），あるいは，回帰平方和(Regression Sum of Squares，あるいは，Sum of Squares due to Regression)（以下，SSRと表記)

$\sum_{i = 1}^{n} {(e_{i} - \bar{e})}^{2}$ ：残差変動（Residual Variation），あるいは，残差平方和(Residual Sum of Squares ( RSS)，あるいは，Sum of Squared Errors)（以下，SSEと表記)

を用いて(2)を書き替えると

全変動(TSS)＝回帰変動(SSR)+残差変動(SSE)　･･････(8)

のような表現もある．(2)，(3)の関係を変動の分解という．

■証明

(6)より

$\begin{array}{l} {\hat{y}}_{1} = β_{0} + β_{1} x_{11} + β_{2} x_{12} + \dots + β_{m} x_{1 m} \\ {\hat{y}}_{2} = β_{0} + β_{1} x_{21} + β_{2} x_{22} + \dots + β_{m} x_{2 m} \\ ⋮ \\ {\hat{y}}_{n} = β_{0} + β_{1} x_{n 1} + β_{2} x_{n 2} + \dots + β_{m} x_{n m} \end{array}$

となる連立方程式が得られる．行列を使って表わすと

$(\begin{matrix} {\hat{y}}_{1} \\ {\hat{y}}_{2} \\ ⋮ \\ {\hat{y}}_{n} \end{matrix}) = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 m} \\ 1 & x_{21} & x_{22} & \dots & x_{2 m} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & x_{n 2} & \dots & x_{n m} \end{matrix}) (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix})$ ･･････(9)

となる．

$(\begin{matrix} {\hat{y}}_{1} \\ {\hat{y}}_{2} \\ ⋮ \\ {\hat{y}}_{n} \end{matrix}) = \hat{y}$ ･･･(10) ，
$(\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 m} \\ 1 & x_{21} & x_{22} & \dots & x_{2 m} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & x_{n 2} & \dots & x_{n m} \end{matrix}) = X$ ･･･(11) ，
$(\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix}) = β$ ･･･(12)

とおくと，(9)は

$\hat{y} = X β$ ･･････(13)

のように表せる．

$(\begin{matrix} e_{1} \\ e_{2} \\ ⋮ \\ e_{n} \end{matrix}) = e$ ･･････(14) ， $(\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{matrix}) = y$ ･･････(15)

とおくと，(7)より

$e = y - \hat{y}$ ･･････(16)

が得られる．

残差平方和 $S_{S E}$ は

$S_{S E} = \sum_{i = 1}^{n} e_{i}^{2}$ $= \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2}$ $= \sum_{i = 1}^{n} {\{y_{i} - (β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + \dots + β_{m} x_{i m})\}}^{2}$ ･･････(17)

となる．ベクトルを用いて表すと，(15)より

$S_{S E} = \sum_{i = 1}^{n} e_{i}^{2} = {|e|}^{2} = {|y - \hat{y}|}^{2}$ ･･････(18)

となる． (ベクトルの大きさを参照)

回帰式では， $S_{S E}$ が最小(極小)となるとなるように $β_{0}$ ， $β_{1}$ ， $β_{2}$ ，･･･， $β_{m}$ が求められている．よって， $S_{S E}$ が極小となるときに成り立つ式

\frac{\partial S_{S E}}{\partial β_{0}} = 0

･･････(19)

\frac{\partial S_{S E}}{\partial β_{1}} = 0

･･･(20)，

\frac{\partial S_{S E}}{\partial β_{2}} = 0

･･･(21)，

･･･，

\frac{\partial S_{S E}}{\partial β_{m}} = 0

･･･(22)，

を満たす $β_{0}$ ， $β_{1}$ ， $β_{2}$ ，･･･， $β_{m}$ を求めればよい．

備考：残差平方和の特徴として，極小は存在するが，極大は存在しない．よって，(19)，(20)，(21)，(22)を満たすのは極小のときのみである．

(19)と(18)より

$\frac{\partial}{\partial β_{0}} \sum_{i = 1}^{n} {\{y_{i} - (β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + \dots + β_{m} x_{i m})\}}^{2} = 0$

$\sum_{i = 1}^{n} \frac{\partial}{\partial β_{0}} {\{y_{i} - (β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + \dots + β_{m} x_{i m})\}}^{2} = 0$

$\sum_{i = 1}^{n} 2 \{y_{i} - (β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + \dots + β_{m} x_{i m})\} (- 1) = 0$

$\sum_{i = 1}^{n} \{y_{i} - (β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + \dots + β_{m} x_{i m})\} = 0$ ･･････(23)

が得られる．(23) を以下のように式変形をする．

$\sum_{i = 1}^{n} y_{i} - \sum_{i = 1}^{n} (β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + \dots + β_{m} x_{i m}) = 0$

$\sum_{i = 1}^{n} y_{i} = \sum_{i = 1}^{n} (β_{0} + β_{1} x_{i 1} + β_{2} x_{i 2} + \dots + β_{m} x_{i m})$

$\sum_{i = 1}^{n} y_{i} = \sum_{i = 1}^{n} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix})$

$\sum_{i = 1}^{n} y_{i} = \{\sum_{i = 1}^{n} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix})$

$\sum_{i = 1}^{n} 1 \cdot y_{i}$ $= \{\sum_{i = 1}^{n} 1 \cdot (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix})$ ･･････(24)

(20)と(18)より，同様にして，以下の式が得られる．

$\sum_{i = 1}^{n} x_{i 1} y_{i}$ $= \{\sum_{i = 1}^{n} x_{i 1} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix})$ ･･････(25)

(21)と(18)より，同様にして，以下の式が得られる．

$\sum_{i = 1}^{n} x_{i 2} y_{i}$ $= \{\sum_{i = 1}^{n} x_{i 2} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix})$ ･･････(26)

(22)と(18)より，同様にして，以下の式が得られる．

$\sum_{i = 1}^{n} x_{i m} y_{i}$ $= \{\sum_{i = 1}^{n} x_{i m} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix})$ ･･････(27)

行列を用いて，(24)，(25)，(26)，(27)を1つの式にまとめると

$(\begin{matrix} \sum_{i = 1}^{n} 1 \cdot y_{i} \\ \sum_{i = 1}^{n} x_{i 1} y_{i} \\ \sum_{i = 1}^{n} x_{i 2} y_{i} \\ ⋮ \\ \sum_{i = 1}^{n} x_{i m} y_{i} \end{matrix})$ $= (\begin{matrix} \sum_{i = 1}^{n} 1 \cdot (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \\ \sum_{i = 1}^{n} x_{i 1} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \\ \sum_{i = 1}^{n} x_{i 2} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \\ ⋮ \\ \sum_{i = 1}^{n} x_{i m} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \end{matrix}) (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix})$

$(\begin{matrix} 1 & 1 & \dots & 1 \\ x_{11} & x_{21} & \dots & x_{n 1} \\ x_{12} & x_{22} & \dots & x_{n 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{1 m} & x_{2 m} & \dots & x_{n m} \end{matrix}) (\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{matrix})$

$= (\begin{matrix} 1 & 1 & \dots & 1 \\ x_{11} & x_{21} & \dots & x_{n 1} \\ x_{12} & x_{22} & \dots & x_{n 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{1 m} & x_{2 m} & \dots & x_{n m} \end{matrix}) (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 m} \\ 1 & x_{21} & x_{22} & \dots & x_{2 m} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & x_{n 2} & \dots & x_{n m} \end{matrix}) (\begin{matrix} β_{0} \\ β_{1} \\ β_{2} \\ ⋮ \\ β_{m} \end{matrix})$

${}^{t}X y = {}^{t}X X β$ ･･････(28)

となる．この式をさらに変形をする．

${}^{t}X y - {}^{t}X X β = 0$

${}^{t}X (y - X β) = 0$

(13)を代入する．

${}^{t}X (y - \hat{y}) = 0$

(16)を用いると

${}^{t}X e = 0$ ･･････(29)

が得られる． $X$ の各列を

$(\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = x_{0}$ ･･(30) ，
$(\begin{matrix} x_{11} \\ x_{21} \\ ⋮ \\ x_{n 1} \end{matrix}) = x_{1}$ ･･(31) ，
$(\begin{matrix} x_{12} \\ x_{22} \\ ⋮ \\ x_{n 2} \end{matrix}) = x_{2}$ ･･(32)
，･･･，
$(\begin{matrix} x_{1 m} \\ x_{2 m} \\ ⋮ \\ x_{n m} \end{matrix}) = x_{m}$ ･･(33)

とおくと，(29)より

${}^{t}x_{0} e = 0$ ･･(34) ，
${}^{t}x_{1} e = 0$ ･･(35) ，
${}^{t}x_{2} e = 0$ ･･(36)
，･･･，
${}^{t}x_{m} e = 0$ ･･(37)

の関係が得られる．

$\hat{y}$ を $x_{0}$ ， $x_{1}$ ， $x_{2}$ ，･･･， $x_{m}$ を使って表わすと

$\hat{y} = β_{0} x_{0} + β_{1} x_{1} + β_{2} x_{2} + \dots + β_{m} x_{m}$ ･･････(38)

となる．

(38)を用いて，以下のような計算をする．

${}^{t}{\hat{y}} e = {}^{t}{(β_{0} x_{0} + β_{1} x_{1} + β_{2} x_{2} + \dots + β_{m} x_{m})} e$

この転置行列の性質を用いると

${}^{t}{\hat{y}} e = \{{}^{t}{(β_{0} x_{0})} + {}^{t}{(β_{1} x_{1})} + {}^{t}{(β_{2} x_{2})} + \dots + {}^{t}{(β_{m} x_{m})}\} e$

この転置行列の性質を用いると

${}^{t}{\hat{y}} e = \{β_{0} {}^{t}x_{0} + β_{1} {}^{t}x_{1} + β_{2} {}^{t}x_{2} + \dots + β_{m} {}^{t}x_{m}\} e$

この行列の性質を使うと

${}^{t}{\hat{y}} e = β_{0} {}^{t}x_{0} e + β_{1} {}^{t}x_{1} e + β_{2} {}^{t}x_{2} e + \dots + β_{m} {}^{t}x_{m} e$

(34)，(35)，(36)，(37)より

$\hat{y} \cdot e = 0$ ･･････(39)

( ${}^{t}{\hat{y}} e = \hat{y} \cdot e$ 関しては，内積を参照)

の関係が成り立っている．

${|y|}^{2}$ の計算をすると

${|y|}^{2} = y \cdot y$ (ベクトルの大きさと内積の関係を参照)

(15)の関係を用いると

$= (\hat{y} + e) \cdot (\hat{y} + e)$

内積の計算の基本則を用いると

$= (\hat{y} + e) \cdot \hat{y} + (\hat{y} + e) \cdot e$

$= \hat{y} \cdot \hat{y} + e \cdot \hat{y} + + \hat{y} \cdot e + e \cdot e$

$= {|\hat{y}|}^{2} + {|e|}^{2}$ ･･････(40)

となる．

(34)を以下のように式変形をする．

${}^{t}x_{0} e = 0$

$(\begin{matrix} 1 & 1 & \dots & 1 \end{matrix}) (\begin{matrix} e_{1} \\ e_{2} \\ ⋮ \\ e_{n} \end{matrix}) = 0$

$e_{1} + e_{2} + \dots + e_{n} = 0$

$\frac{1}{n} (e_{1} + e_{2} + \dots + e_{n}) = 0$

$\frac{1}{n} \sum_{i = 1}^{n} e_{i} = 0$

$\bar{e} = 0$ ･･････(41)

すなわち，残差の平均 $\bar{e}$ は0となる．

(7)を用いて以下の計算をする．

$\frac{1}{n} \sum_{i = 1}^{n} e_{i} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})$

$\frac{1}{n} \sum_{i = 1}^{n} e_{i} = \frac{1}{n} \sum_{i = 1}^{n} y_{i} - \frac{1}{n} \sum_{i = 1}^{n} {\hat{y}}_{i}$

(3)，(4)，(5)より

$\bar{e} = \bar{y} - \bar{\hat{y}}$ ･･････(42)

(41)，(42)より

$\bar{y} = \bar{\hat{y}}$ ･･････(43)

の関係が得られる．

全変動 $\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}$ の計算を以下のように進める．

$\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2} = {|y - \bar{y}|}^{2}$

$= (y - \bar{y}) \cdot (y - \bar{y})$

$\bar{y} = (\begin{matrix} \bar{y} \\ \bar{y} \\ ⋮ \\ \bar{y} \end{matrix}) = \bar{y} (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = \bar{y} x_{0}$ ･･････(44) とおくと

$= (y - \bar{y} x_{0}) \cdot (y - \bar{y} x_{0})$

$= (\hat{y} + e - \bar{y} x_{0}) \cdot (\hat{y} + e - \bar{y} x_{0})$

$= (\hat{y} + e - \bar{y} x_{0}) \cdot \hat{y}$ $+ (\hat{y} + e - \bar{y} x_{0}) \cdot e$ $- (\hat{y} + e - \bar{y} x_{0}) \cdot (\bar{y} x_{0})$

$= \hat{y} \cdot \hat{y} + e \cdot \hat{y} - \bar{y} (x_{0} \cdot \hat{y})$ $+ \hat{y} \cdot e + e \cdot e - \bar{y} x_{0} \cdot e$ $- \bar{y} (\hat{y} \cdot x_{0}) - \bar{y} (e \cdot \hat{y}) + {\bar{y}}^{2} (x_{0} \cdot x_{0})$

(34)から(38)を適用すると

$x_{0} \cdot e = {}^{t}x_{0} e = 0$

$e \cdot \hat{y} = e \cdot (β_{0} x_{0} + β_{1} x_{1} + β_{2} x_{2} + \dots + β_{m} x_{m})$

$= e \cdot (β_{0} x_{0}) + e \cdot (β_{0} x_{1}) + e \cdot (β_{0} x_{2}) + \dots + e \cdot (β_{m} x_{m})$

$= β_{0} (e \cdot x_{0}) + β_{1} (e \cdot x_{1}) + β_{2} (e \cdot x_{2}) + \dots + β_{m} (e \cdot x_{m})$

$= β_{0} (x_{0} \cdot e) + β_{1} (x_{1} \cdot e) + β_{2} (x_{2} \cdot e) + \dots + β_{m} (x_{m} \cdot e)$

$= β_{0} ({}^{t}x_{0} e) + β_{1} ({}^{t}x_{1} e) + β_{2} ({}^{t}x_{2} e) + \dots + β_{m} ({}^{t}x_{m} e)$

$= 0$

同様にして

$\hat{y} \cdot e = 0$

$= \hat{y} \cdot \hat{y} - 2 \bar{y} (x_{0} \cdot \hat{y}) + {\bar{y}}^{2} (x_{0} \cdot x_{0}) + e \cdot e$

$= (\hat{y} - \bar{y} x_{0}) \cdot (\hat{y} - \bar{y} x_{0}) + e \cdot e$

(43) と(41)を用いると以下のように式変形できる．

$= (\hat{y} - \bar{\hat{y}} x_{0}) \cdot (\hat{y} - \bar{\hat{y}} x_{0})$ $+ (e - \bar{e} x_{0}) \cdot (e - \bar{e} x_{0})$

$\bar{\hat{y}}$ ， $\bar{e}$ を次のように定義する．

$\bar{\hat{y}} = (\begin{matrix} \bar{\hat{y}} \\ \bar{\hat{y}} \\ ⋮ \\ \bar{\hat{y}} \end{matrix}) = \bar{\hat{y}} (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = \bar{\hat{y}} x_{0}$ ･･････(45) ，
$\bar{e} = (\begin{matrix} \bar{e} \\ \bar{e} \\ ⋮ \\ \bar{e} \end{matrix}) = \bar{e} (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = \bar{e} x_{0}$ ･･････(46)

$= (\hat{y} - \bar{\hat{y}}) \cdot (\hat{y} - \bar{\hat{y}})$ $+ (e - \bar{e}) \cdot (e - \bar{e})$

$= {|\hat{y} - \bar{\hat{y}}|}^{2} + {|e - \bar{e}|}^{2}$

$= \sum_{i = 1}^{n} {({\hat{y}}_{i} - \bar{y})}^{2} + \sum_{i = 1}^{n} {(e_{i} - \bar{e})}^{2}$

以上より，(2)が証明された．

ホーム>>カテゴリー分類>>確率>>統計>>線形重回帰分析における「変動の分解」

　最終更新日： 2026年6月17日