●知識グラフ全体 ，●このページを中心とした周辺知識グラフ

線形単回帰における「変動の分解」

$X$ と $Y$ のデータの組が $n$ 個あるとする． このデータから求められる線形単回帰式は

${\displaystyle \widehat{y}=ax+b}$ ･･････(1)

ただし，${\displaystyle b\ne 0}$

で表されるとする．

目的変数 $Y$の分散： ${\displaystyle {\sigma }_y^2=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\left(y_i-\overline{y}\right)}^2}}$ ･･････(2)

予測値${\displaystyle \widehat{Y}}$ の分散： ${\displaystyle {\sigma }_{\widehat{y}}^2=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\left({\widehat{y}}_i-\overline{\widehat{y}}\right)}^2}}$ ･･････(3)

残差 $\epsilon$ の分散： ${\displaystyle {\sigma }_{\epsilon }^2=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\left({\epsilon }_i-\overline{\epsilon }\right)}^2}}$ ･･････(4)

ただし

${\displaystyle \overline{y}=\frac{1}{n}{\displaystyle \sum _{i=1}^n{y}_i}}$　･･････(5)

${\displaystyle \overline{\widehat{y}}=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\widehat{y}}_i}}$　･･････(6)

${\displaystyle \overline{\epsilon }=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\epsilon }_i}}$　･･････(7)

${\displaystyle {\widehat{y}}_i=a{x}_i+b}$　･･････(8)

${\displaystyle {\epsilon }_i=y_i-{\widehat{y}}_i}$　･･････(9)

とおくと

${\displaystyle {\sigma }_y^2={\sigma }_{\widehat{y}}^2+{\sigma }_{\epsilon }^2}$ 　･･････(10)

が成り立つ．(10)の両辺を$n$倍すると，(2) ，(3)，(4)より

${\displaystyle {\displaystyle \sum }_{i=1}^n{\left(y_i-\overline{y}\right)}^2}$${\displaystyle ={\displaystyle \sum }_{i=1}^n{\left({\widehat{y}}_i-\overline{\widehat{y}}\right)}^2+{\displaystyle \sum }_{i=1}^n{\left({\epsilon }_i-\overline{\epsilon }\right)}^2}$　･･････(11)

備考：${\displaystyle \overline{y}=\overline{\widehat{y}}}$，${\displaystyle \overline{\epsilon }=0}$ (証明の(19),(25)を参照のこと)

の関係が得られる．

${\displaystyle {\displaystyle \sum }_{i=1}^n{\left(y_i-\overline{y}\right)}^2}$：全変動（Total Variation），あるいは，全平方和（Total Sum of Squares）（以下，TSSと表記）

${\displaystyle {\displaystyle \sum }_{i=1}^n{\left({\widehat{y}}_i-\overline{\widehat{y}}\right)}^2}$：回帰変動（Regression Variation），あるいは，回帰平方和(Regression Sum of Squares，あるいは，Sum of Squares due to Regression)（以下，SSRと表記)

${\displaystyle {\displaystyle \sum }_{i=1}^n{\left({\epsilon }_i-\overline{\epsilon }\right)}^2}$ ：残差変動（Residual Variation），あるいは，残差平方和(Residual Sum of Squares ( RSS)，あるいは，Sum of Squared Errors)（以下，SSEと表記)

(11)を書き替えると

全変動(TSS)＝回帰変動(SSR)+残差変動(SSE)　･･････(12)

のような表現もある．(11)，(12)の関係を変動の分解という．

■証明

(1)が線形単回帰式より

${\displaystyle a=\frac{{\sigma }_{xy}}{{\sigma }_x^2}}$　･･････(13)

${\displaystyle b=\overline{y}-a\overline{x}}$ 　･･････(14)

ただし

${\displaystyle {\sigma }_x^2=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\left(x_i-\overline{x}\right)}^2}}$　･･････(15)

${\displaystyle {\sigma }_{xy}=\frac{1}{n}{\displaystyle \sum _{i=1}^n\left(x_i-\overline{x}\right)\left(y_i-\overline{y}\right)}}$　･･････(16)

${\displaystyle \overline{x}=\frac{1}{n}{\displaystyle \sum _{i=1}^n{x}_i}}$　･･････(17)

である．

とおくと，(6)，(8)，(17)より

${\displaystyle \overline{\widehat{y}}=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\widehat{y}}_i}=\frac{1}{n}{\displaystyle \sum _{i=1}^n\left(a{x}_i+b\right)}}$${\displaystyle =a\frac{1}{n}{\displaystyle \sum _{i=1}^n{x}_i}+b}$${\displaystyle =a\overline{x}+b}$　･･････(18)

となる．

(18)に（14）を代入すると

${\displaystyle \overline{\widehat{y}}=a\overline{x}+\left(\overline{y}-a\overline{x}\right)=\overline{y}}$　･･････(19)

(7)，(9)，(19)より

${\displaystyle \overline{\epsilon }=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\epsilon }_i}}$ ${\displaystyle =\frac{1}{n}{\displaystyle \sum }_{i=1}^n\left(y_i-{\widehat{y}}_i\right)}$ ${\displaystyle =\frac{1}{n}{\displaystyle \sum _{i=1}^n{y}_i}-\frac{1}{n}{\displaystyle \sum _{i=1}^n{\widehat{y}}_i}}$${\displaystyle =\overline{y}-\overline{\widehat{y}}=0}$　･･････(20)

となる．

(2)と(9)より

${\displaystyle {\sigma }_y^2=\frac{1}{n}{\displaystyle \sum _{i=1}^n{\left(y_i-\overline{y}\right)}^2}}$

${\displaystyle =\frac{1}{n}{\displaystyle \sum _{i=1}^n{\left\{\left({\widehat{y}}_i+{\epsilon }_i\right)-\overline{y}\right\}}^2}}$

${\displaystyle =\frac{1}{n}{\displaystyle \sum _{i=1}^n{\left\{\left({\widehat{y}}_i-\overline{y}\right)+{\epsilon }_i\right\}}^2}}$

${\displaystyle =\frac{1}{n}{\displaystyle \sum _{i=1}^n\left\{{\left({\widehat{y}}_i-\overline{y}\right)}^2+2\left({\widehat{y}}_i-\overline{y}\right){\epsilon }_i+{\epsilon }_i^2\right\}}}$

${\displaystyle =\frac{1}{n}{\displaystyle \sum }_{i=1}^n{\left({\widehat{y}}_i-\overline{y}\right)}^2}$${\displaystyle +\frac{2}{n}{\displaystyle \sum }_{i=1}^n\left({\widehat{y}}_i-\overline{y}\right){\epsilon }_i}$${\displaystyle +\frac{1}{n}{\displaystyle \sum }_{i=1}^n{\epsilon }_i^2}$ 　･･････(21)

(22)，(25)，(26)より

${\displaystyle {\sigma }_{\widehat{y}}^2+{\sigma }_{\epsilon }^2}$

となり，(10)が成り立つことが導かれた．

(10)の両辺を$n$倍すると，(11)が得られる．

 

ホーム>>カテゴリー分類>>確率>>統計>>線形単回帰における「変動の分解」

　最終更新日： 2026年5月17日

[ページトップ]

利用規約，誤植や誤りなどがございましたら、こちらからご連絡ください。

google translate (English version)