変動の分解 (variance decomposition)

最小二乗法による線形回帰分析において， $y_i$ を目的変数の実際の値， ${\displaystyle {\widehat{y}}_i}$ を予測値(回帰式より求めた値)， $e_i$ を残差とし．これらの平均値を ${\displaystyle \overline{y}}$ ， ${\displaystyle \overline{\widehat{y}}}$ ， ${\displaystyle \overline{e}}$ で表わすと

${\displaystyle {\displaystyle \sum }_{i=1}^n{\left(y_i-\overline{y}\right)}^2}$：全変動（Total Variation），あるいは，全平方和（Total Sum of Squares）（以下，TSSと表記）

${\displaystyle {\displaystyle \sum }_{i=1}^n{\left({\widehat{y}}_i-\overline{\widehat{y}}\right)}^2}$：回帰変動（Regression Variation），あるいは，回帰平方和(Regression Sum of Squares，あるいは，Sum of Squares due to Regression)（以下，SSRと表記)

${\displaystyle {\displaystyle \sum }_{i=1}^n{\left(e_i-\overline{e}\right)}^2}$ ：残差変動（Residual Variation），あるいは，残差平方和(Residual Sum of Squares ( RSS)，あるいは，Sum of Squared Errors)（以下，SSEと表記)

といい

${\displaystyle {\displaystyle \sum }_{i=1}^n{\left(y_i-\overline{y}\right)}^2}$ ${\displaystyle ={\displaystyle \sum }_{i=1}^n{\left({\widehat{y}}_i-\overline{\widehat{y}}\right)}^2+{\displaystyle \sum }_{i=1}^n{\left(e_i-\overline{e}\right)}^2}$

全変動(TSS)＝回帰変動(SSR)+残差変動(SSE)

備考： ${\displaystyle e_i=y_i-{\widehat{y}}_i}$ ，${\displaystyle \overline{y}=\overline{\widehat{y}}}$  (このページの(19)，および，このページの(42)を参照) ， ${\displaystyle \overline{e}=0}$  (このページの(25)，および，このページの(40)を参照)

のような関係が成り立つ．このの関係を変動の分解という．

回帰変動は，目的変数の変動のうち，回帰式によって説明される部分であり，説明可能な変動とも呼ばれる．一方，残差変動は，回帰式では説明されない部分であり，説明不可能な変動とも呼ばれる．

■証明

• 線形単回帰の場合 ⇒  ここ
• 線形重回帰の場合 ⇒ここ 

 

ホーム>>カテゴリー分類>>確率>>統計>>変動の分解

　最終更新日： 2026年6月16日