線形単回帰における「変動の分解」

データNo.	データ $3$X$ （説明変数）	データ $3$Y$ （目的変数）
1	$3$\hspace{1}{x}_{1}$	$3$\hspace{1}{y}_{1}$
2	$3$\hspace{1}{x}_{2}$	$3$\hspace{1}{y}_{2}$
3	$3$\hspace{1}{x}_{3}$	$3$\hspace{1}{y}_{3}$
$3$\vdots$	$3$\vdots$	$3$\vdots$
$3$n$	$3$\hspace{1}{x}_{n}$	$3$\hspace{1}{y}_{n}$

$3$X$ と $3$Y$ のデータの組が $3$n$ 個あるとする．このデータから求められる線形単回帰式は

$3$\displaystyle{ \hat{y}=ax+b }$ ･･････(1)

ただし， $3$\displaystyle{ b\neq 0 }$

で表されるとする．

備考： $3$\hspace{1}{x}_{i}$ を説明変数の実際の値， $3$\hspace{1}{y}_{i}$ を目的変数の実際の値， $3$\displaystyle{\hspace{1}{\hat{y}}_{i}}$ を予測値(回帰式より求めた値)， $3$\hspace{1}{{\varepsilon}}_{i}$ を残差とし．これらの平均値を $3$\displaystyle{\bar{y}}$ ， $3$\displaystyle{\hat{\hat{y}}}$ ， $3$\displaystyle{\bar{{\varepsilon}}}$ で表わす．

目的変数 $3$Y$ の分散： $3$\displaystyle{{\sigma}_{y}^{2}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} { \left({ \hspace{1}{y}_{i}- \bar{y} }\right) }^{2} }}$ ･･････(2)

予測値 $3$\displaystyle{\hat{Y}}$ の分散： $3$\displaystyle{{\sigma}_{\hat{y}}^{2}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} { \left({ \hspace{1}{\hat{y}}_{i}- \hat{\hat{y}} }\right) }^{2} }}$ ･･････(3)

残差 $3${\varepsilon}$ の分散： $3$\displaystyle{{\sigma}_{{\varepsilon}}^{2}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} { \left({ \hspace{1}{{\varepsilon}}_{i}- \bar{{\varepsilon}} }\right) }^{2} }}$ ･･････(4)

ただし

$3$\displaystyle{\bar{y}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{y}_{i} }}$ 　･･････(5)

$3$\displaystyle{\hat{\hat{y}}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{\hat{y}}_{i} }}$ 　･･････(6)

$3$\displaystyle{\bar{{\varepsilon}}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{{\varepsilon}}_{i} }}$ 　･･････(7)

$3$\displaystyle{\hspace{1}{\hat{y}}_{i}=a\hspace{1}{x}_{i}+b}$ 　･･････(8)

$3$\displaystyle{\hspace{1}{{\varepsilon}}_{i}=\hspace{1}{y}_{i}- \hspace{1}{\hat{y}}_{i}}$ 　･･････(9)

とおくと

$3$\displaystyle{ {\sigma}_{y}^{2}={\sigma}_{\hat{y}}^{2}+{\sigma}_{{\varepsilon}}^{2} }$ 　･･････(10)

が成り立つ．(10)の両辺を $3$n$ 倍すると，(2) ，(3)，(4)より

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{y}_{i}- \bar{y} }\right)}^{2}}$ $3$\displaystyle{={\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{\hat{y}}_{i}- \hat{\hat{y}} }\right)}^{2}+{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{{\varepsilon}}_{i}- \bar{{\varepsilon}} }\right)}^{2}}$ 　･･････(11)

備考： $3$\displaystyle{ \bar{y}=\hat{\hat{y}} }$ ， $3$\displaystyle{\bar{{\varepsilon}}=0}$ (証明の(19)，(20)を参照のこと)

の関係が得られる．

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{y}_{i}- \bar{y} }\right)}^{2}}$ ：全変動，あるいは，全平方和（以下，TSSと表記）

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{\hat{y}}_{i}- \hat{\hat{y}} }\right)}^{2}}$ ：回帰変動，あるいは，回帰平方和（以下，SSRと表記)

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{{\varepsilon}}_{i}- \bar{{\varepsilon}} }\right)}^{2}}$ ：残差変動，あるいは，残差平方和（以下，SSEと表記)

(11)を書き替えると

全変動(TSS)＝回帰変動(SSR)+残差変動(SSE)　･･････(12)

のような表現もある．(11)，(12)の関係を変動の分解という．

■証明

(1)が線形単回帰式より

$3$\displaystyle{a=\frac{\hspace{2} \hspace{1}{{\sigma}}_{ xy } \hspace{2}}{\hspace{2} {\sigma}_{x}^{2} \hspace{2}}}$ 　･･････(13)

$3$\displaystyle{b=\bar{y}- a\bar{x}}$ 　･･････(14)

ただし

$3$\displaystyle{{\sigma}_{x}^{2}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} { \left({ \hspace{1}{x}_{i}- \bar{x} }\right) }^{2} }}$ 　･･････(15)

$3$\displaystyle{\hspace{1}{{\sigma}}_{ xy }=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \left({ \hspace{1}{x}_{i}- \bar{x} }\right)\left({ \hspace{1}{y}_{i}- \bar{y} }\right) }}$ 　･･････(16)

$3$\displaystyle{\bar{x}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{x}_{i} }}$ 　･･････(17)

である．

とおくと，(6)，(8)，(17)より

$3$\displaystyle{\hat{\hat{y}}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{\hat{y}}_{i} }=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \left({ a\hspace{1}{x}_{i}+b }\right) }}$ $3$\displaystyle{=a\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{x}_{i} }+b}$ $3$\displaystyle{=a\bar{x}+b}$ 　･･････(18)

となる．

(18)に（14）を代入すると

$3$\displaystyle{\hat{\hat{y}}=a\bar{x}+\left({ \bar{y}- a\bar{x} }\right)=\bar{y}}$ 　･･････(19)

(7)，(9)，(19)より

$3$\displaystyle{\bar{{\varepsilon}}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{{\varepsilon}}_{i} }}$ $3$\displaystyle{ =\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}\left({ \hspace{1}{y}_{i}- \hspace{1}{\hat{y}}_{i} }\right) }$ $3$\displaystyle{=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{y}_{i} }- \frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{\hat{y}}_{i} }}$ $3$\displaystyle{=\bar{y}- \hat{\hat{y}}=0}$ 　･･････(20)

となる．

(2)と(9)より

$3$\displaystyle{{\sigma}_{y}^{2}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} { \left({ \hspace{1}{y}_{i}- \bar{y} }\right) }^{2} }}$

$3$\displaystyle{=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} { \left{{ \left({ \hspace{1}{\hat{y}}_{i}+\hspace{1}{{\varepsilon}}_{i} }\right)- \bar{y} }\right} }^{2} }}$

$3$\displaystyle{=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} { \left{{ \left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right)+\hspace{1}{{\varepsilon}}_{i} }\right} }^{2} }}$

$3$\displaystyle{=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \left{{ { \left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right) }^{2}+2\left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right)\hspace{1}{{\varepsilon}}_{i}+{\varepsilon}_{i}^{2} }\right} }}$

$3$\displaystyle{=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right)}^{2}}$ $3$\displaystyle{+\frac{\hspace{2}2\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}\left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right)\hspace{1}{{\varepsilon}}_{i}}$ $3$\displaystyle{+\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\varepsilon}_{i}^{2}}$ 　･･････(21)

第1項 $3$\displaystyle{\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right)}^{2}}$ について

(19)，(3)より

$3$\displaystyle{\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right)}^{2}}$ $3$\displaystyle{=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{\hat{y}}_{i}- \hat{\hat{y}} }\right)}^{2}={\sigma}_{\hat{y}}^{2}}$ 　･･････(22)

第2項 $3$\displaystyle{\frac{\hspace{2}2\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}\left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right)\hspace{1}{{\varepsilon}}_{i}}$ について

(8)，(14)より

$3$\displaystyle{\hspace{1}{\hat{y}}_{i}- \bar{y}=\left({ a\hspace{1}{x}_{i}+b }\right)- \left({ a\bar{x}+b }\right)}$ $3$\displaystyle{=a\left({ \hspace{1}{x}_{i}- \bar{x} }\right)}$ 　･･････(23)

(9)，(8)，(14)より

$3$\displaystyle{\hspace{1}{{\varepsilon}}_{i}=\hspace{1}{y}_{i}- \left({ a\hspace{1}{x}_{i}+b }\right)}$ $3$\displaystyle{=\hspace{1}{y}_{i}- \left{{ a\hspace{1}{x}_{i}+\left({ \bar{y}- a\bar{x} }\right) }\right}}$ $3$\displaystyle{=\hspace{1}{y}_{i}- \bar{y}- a\left({ \hspace{1}{x}_{i}- \bar{x} }\right)}$ 　･･････(24)

(23)，(24)を第2項に代入すると

$3$\displaystyle{\frac{\hspace{2}2\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}\left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right)\hspace{1}{{\varepsilon}}_{i}}$ $3$\displaystyle{=\frac{\hspace{2}2\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}a\left({ \hspace{1}{x}_{i}- \bar{x} }\right)\left{{ \hspace{1}{y}_{i}- \bar{y}- a\left({ \hspace{1}{x}_{i}- \bar{x} }\right) }\right}}$

$3$\displaystyle{=a\frac{\hspace{2}2\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}\left({ \hspace{1}{x}_{i}- \bar{x} }\right)\left({ \hspace{1}{y}_{i}- \bar{y} }\right)}$ $3$\displaystyle{- {a}^{2}\frac{\hspace{2}2\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{x}_{i}- \bar{x} }\right)}^{2}}$

(16)，(15)より

$3$\displaystyle{=2a\left({ \hspace{1}{{\sigma}}_{ xy }- a{\sigma}_{x}^{2} }\right)}$

(13)を代入すると

$3$\displaystyle{=2\frac{\hspace{2} \hspace{1}{{\sigma}}_{ xy } \hspace{2}}{\hspace{2} {\sigma}_{x}^{2} \hspace{2}}\left({ \hspace{1}{{\sigma}}_{ xy }- \frac{\hspace{2} \hspace{1}{{\sigma}}_{ xy } \hspace{2}}{\hspace{2} {\sigma}_{x}^{2} \hspace{2}}{\sigma}_{x}^{2} }\right)}$

$3$\displaystyle{=0}$ 　･･････(25)

となる．

第3項 $3$\displaystyle{\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\varepsilon}_{i}^{2}}$ について

(20)，(4)より

$3$\displaystyle{\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\varepsilon}_{i}^{2}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{{\varepsilon}}_{i}- \bar{{\varepsilon}} }\right)}^{2}={\sigma}_{{\varepsilon}}^{2}}$ 　･･････(26)

(22)，(25)，(26)より

$3$\displaystyle{{\sigma}_{\hat{y}}^{2}+{\sigma}_{{\varepsilon}}^{2}}$

となり，(10)が成り立つことが導かれた．

(10)の両辺を $3$n$ 倍すると，(11)が得られる．

ホーム>>カテゴリー分類>>確率>>統計>>線形単回帰における「変動の分解」

　最終更新日： 2026年5月31日