線形重回帰分析における「変動の分解」

$X_{1}$ ， $X_{2}$ ，･･･， $X_{m}$ ， $Y$ のデータの組が $n$ 個あるとする．

データNo.	データ $X_{1}$ （説明変数1）	データ $X_{2}$ （説明変数2）	･･･	データ $X_{m}$ （説明変数m）	データ $Y$ （目的変数）
1	$x_{11}$	$x_{12}$	･･･	$x_{1 m}$	$y_{1}$
2	$x_{21}$	$x_{22}$	･･･	$x_{2 m}$	$y_{2}$
3	$x_{31}$	$x_{32}$	･･･	$x_{3 m}$	$y_{3}$
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$	$⋮$
$n$	$x_{n 1}$	$x_{n 2}$	･･･	$x_{n m}$	$y_{n}$

このデータから求められる線形重回帰式は

$\hat{y} = a_{0} + a_{1} x_{1} + a_{2} x_{2} + \dots + a_{m} x_{m}$ ･･････(1)

$a_{0} \neq 0$

で表されるとすると

$\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}$ $= \sum_{i = 1}^{n} {({\hat{y}}_{i} - \bar{\hat{y}})}^{2} + \sum_{i = 1}^{n} {(ε_{i} - \bar{ε})}^{2}$ ･･････(2)

備考： $x_{i j}$ を説明変数の実際の値， $y_{i}$ を目的変数の実際の値， ${\hat{y}}_{i}$ を予測値(回帰式より求めた値)， $ε_{i}$ を残差とし．これらの平均値を $\bar{y}$ ， $\bar{\hat{y}}$ ， $\bar{ε}$ で表わす．

ただし

$\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}$ ･･････(3)

$\bar{\hat{y}} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{y}}_{i}$ ･･････(4)

$\bar{ε} = \frac{1}{n} \sum_{i = 1}^{n} ε_{i}$ ･･････(5)

${\hat{y}}_{i} = a_{0} + a_{1} x_{i 1} + a_{2} x_{i 2} + \dots + a_{m} x_{i m}$ ･･････(6)

残差： $ε_{i} = y_{i} - {\hat{y}}_{i}$ ･･････(7)

備考： $\bar{y} = \bar{\hat{y}}$ ， $\bar{ε} = 0$ (証明の(43)，(41)を参照のこと)

の関係がある．

$\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}$ ：全変動（Total Variation），あるいは，全平方和（Total Sum of Squares）（以下，TSSと表記）

$\sum_{i = 1}^{n} {({\hat{y}}_{i} - \bar{\hat{y}})}^{2}$ ：回帰変動（Regression Variation），あるいは，回帰平方和(Regression Sum of Squares，あるいは，Sum of Squares due to Regression)（以下，SSRと表記)

$\sum_{i = 1}^{n} {(ε_{i} - \bar{ε})}^{2}$ ：残差変動（Residual Variation），あるいは，残差平方和(Residual Sum of Squares ( RSS)，あるいは，Sum of Squared Errors)（以下，SSEと表記)

を用いて(2)を書き替えると

全変動(TSS)＝回帰変動(SSR)+残差変動(SSE)　･･････(8)

のような表現もある．(2)，(3)の関係を変動の分解という．

■証明

(6)より

$\begin{array}{l} {\hat{y}}_{1} = a_{0} + a_{1} x_{11} + a_{2} x_{12} + \dots + a_{m} x_{1 m} \\ {\hat{y}}_{2} = a_{0} + a_{1} x_{21} + a_{2} x_{22} + \dots + a_{m} x_{2 m} \\ ⋮ \\ {\hat{y}}_{n} = a_{0} + a_{1} x_{n 1} + a_{2} x_{n 2} + \dots + a_{m} x_{n m} \end{array}$

となる連立方程式が得られる．行列を使って表わすと

$(\begin{matrix} {\hat{y}}_{1} \\ {\hat{y}}_{2} \\ ⋮ \\ {\hat{y}}_{n} \end{matrix}) = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 m} \\ 1 & x_{21} & x_{22} & \dots & x_{2 m} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & x_{n 2} & \dots & x_{n m} \end{matrix}) (\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix})$ ･･････(9)

となる．

$(\begin{matrix} {\hat{y}}_{1} \\ {\hat{y}}_{2} \\ ⋮ \\ {\hat{y}}_{n} \end{matrix}) = \hat{y}$ ･･･(10) ，
$(\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 m} \\ 1 & x_{21} & x_{22} & \dots & x_{2 m} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & x_{n 2} & \dots & x_{n m} \end{matrix}) = X$ ･･･(11) ，
$(\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix}) = α$ ･･･(12)

とおくと，(9)は

$\hat{y} = X α$ ･･････(13)

のように表せる．

$(\begin{matrix} ε_{1} \\ ε_{2} \\ ⋮ \\ ε_{n} \end{matrix}) = ε$ ･･････(14) ， $(\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{matrix}) = y$ ･･････(15)

とおくと，(7)より

$ε = y - \hat{y}$ ･･････(16)

が得られる．

残差平方和 $R_{S S}$ は

$R_{S S} = \sum_{i = 1}^{n} ε_{i}^{2}$ $= \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2}$ $= \sum_{i = 1}^{n} {\{y_{i} - (a_{0} + a_{1} x_{i 1} + a_{2} x_{i 2} + \dots + a_{m} x_{i m})\}}^{2}$ ･･････(17)

となる．ベクトルを用いて表すと，(15)より

$R_{S S} = \sum_{i = 1}^{n} ε_{i}^{2} = {|ε|}^{2} = {|y - \hat{y}|}^{2}$ ･･････(18)

となる． (ベクトルの大きさを参照)

回帰式では， $R_{S S}$ が最小(極小)となるとなるように $a_{0}$ ， $a_{1}$ ， $a_{2}$ ，･･･， $a_{m}$ が求められている．よって， $R_{S S}$ が極小となるときに成り立つ式

\frac{\partial R_{S S}}{\partial a_{0}} = 0

･･････(19)

\frac{\partial R_{S S}}{\partial a_{1}} = 0

･･･(20)，

\frac{\partial R_{S S}}{\partial a_{2}} = 0

･･･(21)，

･･･，

\frac{\partial R_{S S}}{\partial a_{m}} = 0

･･･(22)，

を満たす $a_{0}$ ， $a_{1}$ ， $a_{2}$ ，･･･， $a_{m}$ を求めればよい．

備考：残差平方和の特徴として，極小は存在するが，極大は存在しない．よって，(19)，(20)，(21)，(22)を満たすのは極小のときのみである．

(19)と(18)より

$\frac{\partial}{\partial a_{0}} \sum_{i = 1}^{n} {\{y_{i} - (a_{0} + a_{1} x_{i 1} + a_{2} x_{i 2} + \dots + a_{m} x_{i m})\}}^{2} = 0$

$\sum_{i = 1}^{n} \frac{\partial}{\partial a_{0}} {\{y_{i} - (a_{0} + a_{1} x_{i 1} + a_{2} x_{i 2} + \dots + a_{m} x_{i m})\}}^{2} = 0$

$\sum_{i = 1}^{n} 2 \{y_{i} - (a_{0} + a_{1} x_{i 1} + a_{2} x_{i 2} + \dots + a_{m} x_{i m})\} (- 1) = 0$

$\sum_{i = 1}^{n} \{y_{i} - (a_{0} + a_{1} x_{i 1} + a_{2} x_{i 2} + \dots + a_{m} x_{i m})\} = 0$ ･･････(23)

が得られる．(23) を以下のように式変形をする．

$\sum_{i = 1}^{n} y_{i} - \sum_{i = 1}^{n} (a_{0} + a_{1} x_{i 1} + a_{2} x_{i 2} + \dots + a_{m} x_{i m}) = 0$

$\sum_{i = 1}^{n} y_{i} = \sum_{i = 1}^{n} (a_{0} + a_{1} x_{i 1} + a_{2} x_{i 2} + \dots + a_{m} x_{i m})$

$\sum_{i = 1}^{n} y_{i} = \sum_{i = 1}^{n} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) (\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix})$

$\sum_{i = 1}^{n} y_{i} = \{\sum_{i = 1}^{n} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix})$

$\sum_{i = 1}^{n} 1 \cdot y_{i}$ $= \{\sum_{i = 1}^{n} 1 \cdot (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix})$ ･･････(24)

(20)と(18)より，同様にして，以下の式が得られる．

$\sum_{i = 1}^{n} x_{i 1} y_{i}$ $= \{\sum_{i = 1}^{n} x_{i 1} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix})$ ･･････(25)

(21)と(18)より，同様にして，以下の式が得られる．

$\sum_{i = 1}^{n} x_{i 2} y_{i}$ $= \{\sum_{i = 1}^{n} x_{i 2} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix})$ ･･････(26)

(22)と(18)より，同様にして，以下の式が得られる．

$\sum_{i = 1}^{n} x_{i m} y_{i}$ $= \{\sum_{i = 1}^{n} x_{i m} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix})\} (\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix})$ ･･････(27)

行列を用いて，(24)，(25)，(26)，(27)を1つの式にまとめると

$(\begin{matrix} \sum_{i = 1}^{n} 1 \cdot y_{i} \\ \sum_{i = 1}^{n} x_{i 1} y_{i} \\ \sum_{i = 1}^{n} x_{i 2} y_{i} \\ ⋮ \\ \sum_{i = 1}^{n} x_{i m} y_{i} \end{matrix})$ $= (\begin{matrix} \sum_{i = 1}^{n} 1 \cdot (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \\ \sum_{i = 1}^{n} x_{i 1} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \\ \sum_{i = 1}^{n} x_{i 2} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \\ ⋮ \\ \sum_{i = 1}^{n} x_{i m} (\begin{matrix} 1 & x_{i 1} & x_{i 2} & \dots & x_{i m} \end{matrix}) \end{matrix}) (\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix})$

$(\begin{matrix} 1 & 1 & \dots & 1 \\ x_{11} & x_{21} & \dots & x_{n 1} \\ x_{12} & x_{22} & \dots & x_{n 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{1 m} & x_{2 m} & \dots & x_{n m} \end{matrix}) (\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{matrix})$

$= (\begin{matrix} 1 & 1 & \dots & 1 \\ x_{11} & x_{21} & \dots & x_{n 1} \\ x_{12} & x_{22} & \dots & x_{n 2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{1 m} & x_{2 m} & \dots & x_{n m} \end{matrix}) (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 m} \\ 1 & x_{21} & x_{22} & \dots & x_{2 m} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & x_{n 2} & \dots & x_{n m} \end{matrix}) (\begin{matrix} a_{0} \\ a_{1} \\ a_{2} \\ ⋮ \\ a_{m} \end{matrix})$

${}^{t}X y = {}^{t}X X α$ ･･････(28)

となる．この式をさらに変形をする．

${}^{t}X y - {}^{t}X X α = 0$

${}^{t}X (y - X α) = 0$

(13)を代入する．

${}^{t}X (y - \hat{y}) = 0$

(16)を用いると

${}^{t}X ε = 0$ ･･････(29)

が得られる． $X$ の各列を

$(\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = x_{0}$ ･･(30) ，
$(\begin{matrix} x_{11} \\ x_{21} \\ ⋮ \\ x_{n 1} \end{matrix}) = x_{1}$ ･･(31) ，
$(\begin{matrix} x_{12} \\ x_{22} \\ ⋮ \\ x_{n 2} \end{matrix}) = x_{2}$ ･･(32)
，･･･，
$(\begin{matrix} x_{1 m} \\ x_{2 m} \\ ⋮ \\ x_{n m} \end{matrix}) = x_{m}$ ･･(33)

とおくと，(29)より

${}^{t}x_{0} ε = 0$ ･･(34) ，
${}^{t}x_{1} ε = 0$ ･･(35) ，
${}^{t}x_{2} ε = 0$ ･･(36)
，･･･，
${}^{t}x_{m} ε = 0$ ･･(37)

の関係が得られる．

$\hat{y}$ を $x_{0}$ ， $x_{1}$ ， $x_{2}$ ，･･･， $x_{m}$ を使って表わすと

$\hat{y} = a_{0} x_{0} + a_{1} x_{1} + a_{2} x_{2} + \dots + a_{m} x_{m}$ ･･････(38)

となる．

(38)を用いて，以下のような計算をする．

${}^{t}{\hat{y}} ε = {}^{t}{(a_{0} x_{0} + a_{1} x_{1} + a_{2} x_{2} + \dots + a_{m} x_{m})} ε$

この転置行列の性質を用いると

${}^{t}{\hat{y}} ε = \{{}^{t}{(a_{0} x_{0})} + {}^{t}{(a_{1} x_{1})} + {}^{t}{(a_{2} x_{2})} + \dots + {}^{t}{(a_{m} x_{m})}\} ε$

この転置行列の性質を用いると

${}^{t}{\hat{y}} ε = \{a_{0} {}^{t}x_{0} + a_{1} {}^{t}x_{1} + a_{2} {}^{t}x_{2} + \dots + a_{m} {}^{t}x_{m}\} ε$

この行列の性質を使うと

${}^{t}{\hat{y}} ε = a_{0} {}^{t}x_{0} ε + a_{1} {}^{t}x_{1} ε + a_{2} {}^{t}x_{2} ε + \dots + a_{m} {}^{t}x_{m} ε$

(34)，(35)，(36)，(37)より

$\hat{y} \cdot ε = 0$ ･･････(39)

( ${}^{t}{\hat{y}} ε = \hat{y} \cdot ε$ 関しては，内積を参照)

の関係が成り立っている．

${|y|}^{2}$ の計算をすると

${|y|}^{2} = y \cdot y$ (ベクトルの大きさと内積の関係を参照)

(15)の関係を用いると

$= (\hat{y} + ε) \cdot (\hat{y} + ε)$

内積の計算の基本則を用いると

$= (\hat{y} + ε) \cdot \hat{y} + (\hat{y} + ε) \cdot ε$

$= \hat{y} \cdot \hat{y} + ε \cdot \hat{y} + + \hat{y} \cdot ε + ε \cdot ε$

$= {|\hat{y}|}^{2} + {|ε|}^{2}$ ･･････(40)

となる．

(34)を以下のように式変形をする．

${}^{t}x_{0} ε = 0$

$(\begin{matrix} 1 & 1 & \dots & 1 \end{matrix}) (\begin{matrix} ε_{1} \\ ε_{2} \\ ⋮ \\ ε_{n} \end{matrix}) = 0$

$ε_{1} + ε_{2} + \dots + ε_{n} = 0$

$\frac{1}{n} (ε_{1} + ε_{2} + \dots + ε_{n}) = 0$

$\frac{1}{n} \sum_{i = 1}^{n} ε_{i} = 0$

$\bar{ε} = 0$ ･･････(41)

すなわち，残差の平均 $\bar{ε}$ は0となる．

(7)を用いて以下の計算をする．

$\frac{1}{n} \sum_{i = 1}^{n} ε_{i} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})$

$\frac{1}{n} \sum_{i = 1}^{n} ε_{i} = \frac{1}{n} \sum_{i = 1}^{n} y_{i} - \frac{1}{n} \sum_{i = 1}^{n} {\hat{y}}_{i}$

(3)，(4)，(5)より

$\bar{ε} = \bar{y} - \bar{\hat{y}}$ ･･････(42)

(41)，(42)より

$\bar{y} = \bar{\hat{y}}$ ･･････(43)

の関係が得られる．

全変動 $\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2}$ の計算を以下のように進める．

$\sum_{i = 1}^{n} {(y_{i} - \bar{y})}^{2} = {|y - \bar{y}|}^{2}$

$= (y - \bar{y}) \cdot (y - \bar{y})$

$\bar{y} = (\begin{matrix} \bar{y} \\ \bar{y} \\ ⋮ \\ \bar{y} \end{matrix}) = \bar{y} (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = \bar{y} x_{0}$ ･･････(44) とおくと

$= (y - \bar{y} x_{0}) \cdot (y - \bar{y} x_{0})$

$= (\hat{y} + ε - \bar{y} x_{0}) \cdot (\hat{y} + ε - \bar{y} x_{0})$

$= (\hat{y} + ε - \bar{y} x_{0}) \cdot \hat{y}$ $+ (\hat{y} + ε - \bar{y} x_{0}) \cdot ε$ $- (\hat{y} + ε - \bar{y} x_{0}) \cdot (\bar{y} x_{0})$

$= \hat{y} \cdot \hat{y} + ε \cdot \hat{y} - \bar{y} (x_{0} \cdot \hat{y})$ $+ \hat{y} \cdot ε + ε \cdot ε - \bar{y} x_{0} \cdot ε$ $- \bar{y} (\hat{y} \cdot x_{0}) - \bar{y} (ε \cdot \hat{y}) + {\bar{y}}^{2} (x_{0} \cdot x_{0})$

(34)から(38)を適用すると

$x_{0} \cdot ε = {}^{t}x_{0} ε = 0$

$ε \cdot \hat{y} = ε \cdot (a_{0} x_{0} + a_{1} x_{1} + a_{2} x_{2} + \dots + a_{m} x_{m})$

$= ε \cdot (a_{0} x_{0}) + ε \cdot (a_{0} x_{1}) + ε \cdot (a_{0} x_{2}) + \dots + ε \cdot (a_{m} x_{m})$

$= a_{0} (ε \cdot x_{0}) + a_{1} (ε \cdot x_{1}) + a_{2} (ε \cdot x_{2}) + \dots + a_{m} (ε \cdot x_{m})$

$= a_{0} (x_{0} \cdot ε) + a_{1} (x_{1} \cdot ε) + a_{2} (x_{2} \cdot ε) + \dots + a_{m} (x_{m} \cdot ε)$

$= a_{0} ({}^{t}x_{0} ε) + a_{1} ({}^{t}x_{1} ε) + a_{2} ({}^{t}x_{2} ε) + \dots + a_{m} ({}^{t}x_{m} ε)$

$= 0$

同様にして

$\hat{y} \cdot ε = 0$

$= \hat{y} \cdot \hat{y} - 2 \bar{y} (x_{0} \cdot \hat{y}) + {\bar{y}}^{2} (x_{0} \cdot x_{0}) + ε \cdot ε$

$= (\hat{y} - \bar{y} x_{0}) \cdot (\hat{y} - \bar{y} x_{0}) + ε \cdot ε$

(43) と(41)を用いると以下のように式変形できる．

$= (\hat{y} - \bar{\hat{y}} x_{0}) \cdot (\hat{y} - \bar{\hat{y}} x_{0})$ $+ (ε - \bar{ε} x_{0}) \cdot (ε - \bar{ε} x_{0})$

$\bar{\hat{y}}$ ， $\bar{ε}$ を次のように定義する．

$\bar{\hat{y}} = (\begin{matrix} \bar{\hat{y}} \\ \bar{\hat{y}} \\ ⋮ \\ \bar{\hat{y}} \end{matrix}) = \bar{\hat{y}} (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = \bar{\hat{y}} x_{0}$ ･･････(45) ，
$\bar{ε} = (\begin{matrix} \bar{ε} \\ \bar{ε} \\ ⋮ \\ \bar{ε} \end{matrix}) = \bar{ε} (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix}) = \bar{ε} x_{0}$ ･･････(46)

$= (\hat{y} - \bar{\hat{y}}) \cdot (\hat{y} - \bar{\hat{y}})$ $+ (ε - \bar{ε}) \cdot (ε - \bar{ε})$

$= {|\hat{y} - \bar{\hat{y}}|}^{2} + {|ε - \bar{ε}|}^{2}$

$= \sum_{i = 1}^{n} {({\hat{y}}_{i} - \bar{y})}^{2} + \sum_{i = 1}^{n} {(ε_{i} - \bar{ε})}^{2}$

以上より，(2)が証明された．

ホーム>>カテゴリー分類>>確率>>統計>>線形重回帰分析における「変動の分解」

　最終更新日： 2026年5月20日