線形重回帰分析における「変動の分解」

$3$\displaystyle{\hspace{1}{X}_{1}}$ ， $3$\displaystyle{\hspace{1}{X}_{2}}$ ，･･･， $3$\displaystyle{\hspace{1}{X}_{m}}$ ， $3$Y$ のデータの組が $3$n$ 個あるとする．

データNo.	データ $3$\displaystyle{\hspace{1}{X}_{1}}$ （説明変数1）	データ $3$\displaystyle{\hspace{1}{X}_{2}}$ （説明変数2）	･･･	データ $3$\displaystyle{\hspace{1}{X}_{m}}$ （説明変数m）	データ $3$Y$ （目的変数）
1	$3$\hspace{1}{x}_{11}$	$3$\hspace{1}{x}_{12}$	･･･	$3$\hspace{1}{x}_{ 1m }$	$3$\hspace{1}{y}_{1}$
2	$3$\hspace{1}{x}_{21}$	$3$\hspace{1}{x}_{22}$	･･･	$3$\hspace{1}{x}_{ 2m }$	$3$\hspace{1}{y}_{2}$
3	$3$\hspace{1}{x}_{31}$	$3$\hspace{1}{x}_{32}$	･･･	$3$\hspace{1}{x}_{ 3m }$	$3$\hspace{1}{y}_{3}$
$3$\vdots$	$3$\vdots$	$3$\vdots$	$3$\vdots$	$3$\vdots$	$3$\vdots$
$3$n$	$3$\displaystyle{\hspace{1}{x}_{ n1 }}$	$3$\displaystyle{\hspace{1}{x}_{ n2 }}$	･･･	$3$\hspace{1}{x}_{ nm }$	$3$\hspace{1}{y}_{n}$

このデータから求められる線形重回帰式は

$3$\displaystyle{\hat{y}=\hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{1}+\hspace{1}{a}_{2}\hspace{1}{x}_{2}+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{m}}$ ･･････(1)

$3$\displaystyle{ \hspace{1}{a}_{0}\neq 0 }$

で表されるとすると

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{y}_{i}- \bar{y} }\right)}^{2}}$ $3$\displaystyle{={\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{\hat{y}}_{i}- \hat{\hat{y}} }\right)}^{2}+{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{{\varepsilon}}_{i}- \bar{{\varepsilon}} }\right)}^{2}}$ ･･････(2)

備考： $3$\hspace{1}{x}_{ ij }$ を説明変数の実際の値， $3$\hspace{1}{y}_{i}$ を目的変数の実際の値， $3$\displaystyle{\hspace{1}{\hat{y}}_{i}}$ を予測値(回帰式より求めた値)， $3$\hspace{1}{{\varepsilon}}_{i}$ を残差とし．これらの平均値を $3$\displaystyle{\bar{y}}$ ， $3$\displaystyle{\hat{\hat{y}}}$ ， $3$\displaystyle{\bar{{\varepsilon}}}$ で表わす．

ただし

$3$\displaystyle{\bar{y}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{y}_{i} }}$ ･･････(3)

$3$\displaystyle{\hat{\hat{y}}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{\hat{y}}_{i} }}$ ･･････(4)

$3$\displaystyle{\bar{{\varepsilon}}=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{{\varepsilon}}_{i} }}$ ･･････(5)

$3$\displaystyle{\hspace{1}{\hat{y}}_{i}=\hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ i1 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ i2 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ im }}$ ･･････(6)

残差： $3$\displaystyle{\hspace{1}{{\varepsilon}}_{i}=\hspace{1}{y}_{i}- \hspace{1}{\hat{y}}_{i}}$ ･･････(7)

備考： $3$\displaystyle{ \bar{y}=\hat{\hat{y}} }$ ， $3$\displaystyle{\bar{{\varepsilon}}=0}$ (証明の(43)，(41)を参照のこと)

の関係がある．

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{y}_{i}- \bar{y} }\right)}^{2}}$ ：全変動，あるいは，全平方和（以下，TSSと表記）

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{\hat{y}}_{i}- \hat{\hat{y}} }\right)}^{2}}$ ：回帰変動，あるいは，回帰平方和（以下，SSRと表記)

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left({ \hspace{1}{{\varepsilon}}_{i}- \bar{{\varepsilon}} }\right)}^{2}}$ ：残差変動，あるいは，残差平方和（以下，SSEと表記)

を用いて(2)を書き替えると

全変動(TSS)＝回帰変動(SSR)+残差変動(SSE)　･･････(8)

のような表現もある．(2)，(3)の関係を変動の分解という．

■証明

(6)より

$3$\displaystyle{\begin{array}{lll}\hspace{1}{\hat{y}}_{1}=\hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ 11 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ 12 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ 1m }& \vspace{6}\\ \hspace{1}{\hat{y}}_{2}=\hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ 21 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ 22 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ 2m }& \vspace{6}\\ \text{\hspace{5}}\vdots & \vspace{6}\\ \hspace{1}{\hat{y}}_{n}=\hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ n1 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ n2 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ nm }& \vspace{6}\\ \end{array}}$

となる連立方程式が得られる．行列を使って表わすと

$3$\displaystyle{\left({ \begin{array}\hspace{1}{\hat{y}}_{1}& \vspace{6}\\ \hspace{1}{\hat{y}}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{\hat{y}}_{n} & \vspace{6}\\ \end{array} }\right)=\left({ \begin{array}1& \hspace{1}{x}_{ 11 } & \hspace{1}{x}_{ 12 } &\cdots & \hspace{1}{x}_{ 1m } & \vspace{6}\\ 1& \hspace{1}{x}_{ 21 } & \hspace{1}{x}_{ 22 } &\cdots & \hspace{1}{x}_{ 2m } & \vspace{6}\\ \vdots &\vdots &\vdots &\ddots &\vdots & \vspace{6}\\ 1& \hspace{1}{x}_{ n1 } & \hspace{1}{x}_{ n2 } &\cdots & \hspace{1}{x}_{ nm } & \vspace{6}\\ \end{array} }\right)\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)}$ ･･････(9)

となる．

$3$\displaystyle{\left({ \begin{array}\hspace{1}{\hat{y}}_{1}& \vspace{6}\\ \hspace{1}{\hat{y}}_{2} & \vspace{6}\\ \text{ }\vdots & \vspace{6}\\ \hspace{1}{\hat{y}}_{n} & \vspace{6}\\ \end{array} }\right)=\displaystyle{\hat{y}}}$
TeXに変換設定していない数学記号や，特殊文字が含まれています。今後直していきます。
･･･(10) ，
$3$\displaystyle{\left({ \begin{array}1& \hspace{1}{x}_{ 11 } & \hspace{1}{x}_{ 12 } &\cdots & \hspace{1}{x}_{ 1m } & \vspace{6}\\ 1& \hspace{1}{x}_{ 21 } & \hspace{1}{x}_{ 22 } &\cdots & \hspace{1}{x}_{ 2m } & \vspace{6}\\ \vdots &\vdots &\vdots &\ddots &\vdots & \vspace{6}\\ 1& \hspace{1}{x}_{ n1 } & \hspace{1}{x}_{ n2 } &\cdots & \hspace{1}{x}_{ nm } & \vspace{6}\\ \end{array} }\right)=X}$ ･･･(11) ，
$3$\displaystyle{\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)=\displaystyle{\alpha }}$ ･･･(12)

とおくと，(9)は

$3$\displaystyle{\displaystyle{\hat{y}}=X\displaystyle{\alpha }}$ ･･････(13)

のように表せる．

$3$\displaystyle{\left({ \begin{array} \hspace{1}{{\varepsilon}}_{1} & \vspace{6}\\ \hspace{1}{{\varepsilon}}_{2} & \vspace{6}\\ \text{ }\vdots & \vspace{6}\\ \hspace{1}{{\varepsilon}}_{n} & \vspace{6}\\ \end{array} }\right)=\displaystyle{{\varepsilon}}}$
TeXに変換設定していない数学記号や，特殊文字が含まれています。今後直していきます。
･･････(14) ， $3$\displaystyle{\left({ \begin{array} \hspace{1}{y}_{1} & \vspace{6}\\ \hspace{1}{y}_{2} & \vspace{6}\\ \text{ }\vdots & \vspace{6}\\ \hspace{1}{y}_{n} & \vspace{6}\\ \end{array} }\right)=\displaystyle{y}}$
TeXに変換設定していない数学記号や，特殊文字が含まれています。今後直していきます。
･･････(15)

とおくと，(7)より

$3$\displaystyle{\displaystyle{{\varepsilon}}=\displaystyle{y}- \hat{\displaystyle{y}}}$ ･･････(16)

が得られる．

残差平方和 $3$\displaystyle{\hspace{1}{R}_{ SS }}$ は

$3$\displaystyle{\hspace{1}{R}_{ SS }=\displaystyle{{\sum }\limits_{ i=1 }^{n} {\varepsilon}_{i}^{2} }}$ $3$\displaystyle{=\displaystyle{{\sum }\limits_{ i=1 }^{n} { \left({ \hspace{1}{y}_{i}- \hat{ \hspace{1}{y}_{i} } }\right) }^{2} }}$ $3$\displaystyle{={\displaystyle{\sum }}\limits_{ i=1 }^{n}{\left{{ \hspace{1}{y}_{i}- \left({ \hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ i1 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ i2 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ im } }\right) }\right}}^{2}}$ ･･････(17)

となる．ベクトルを用いて表すと，(15)より

$3$\displaystyle{\hspace{1}{R}_{ SS }={\displaystyle{\sum }}\limits_{ i=1 }^{n}{\varepsilon}_{i}^{2}={\left|{\displaystyle{{\varepsilon}}}\right|}^{2}={\left|{ \displaystyle{y}- \hat{\displaystyle{y}} }\right|}^{2}}$ ･･････(18)

となる． (ベクトルの大きさを参照)

回帰式では， $3$\displaystyle{\hspace{1}{R}_{ SS }}$ が最小(極小)となるとなるように $3$\hspace{1}{a}_{0}$ ， $3$\hspace{1}{a}_{1}$ ， $3$\hspace{1}{a}_{2}$ ，･･･， $3$\hspace{1}{a}_{m}$ が求められている．よって， $3$\displaystyle{\hspace{1}{R}_{ SS }}$ が極小となるときに成り立つ式

$3$\displaystyle{\frac{\hspace{2} {\partial}\hspace{1}{R}_{ SS } \hspace{2}}{\hspace{2} {\partial}\hspace{1}{a}_{0} \hspace{2}}=0}$ ･･････(19)
$3$\displaystyle{\frac{\hspace{2} {\partial}\hspace{1}{R}_{ SS } \hspace{2}}{\hspace{2} {\partial}\hspace{1}{a}_{1} \hspace{2}}=0}$ ･･･(20)，
$3$\displaystyle{\frac{\hspace{2} {\partial}\hspace{1}{R}_{ SS } \hspace{2}}{\hspace{2} {\partial}\hspace{1}{a}_{2} \hspace{2}}=0}$ ･･･(21)，
･･･，
$3$\displaystyle{\frac{\hspace{2} {\partial}\hspace{1}{R}_{ SS } \hspace{2}}{\hspace{2} {\partial}\hspace{1}{a}_{m} \hspace{2}}=0}$ ･･･(22)，

を満たす $3$\hspace{1}{a}_{0}$ ， $3$\hspace{1}{a}_{1}$ ， $3$\hspace{1}{a}_{2}$ ，･･･， $3$\hspace{1}{a}_{m}$ を求めればよい．

備考：残差平方和の特徴として，極小は存在するが，極大は存在しない．よって，(19)，(20)，(21)，(22)を満たすのは極小のときのみである．

(19)と(18)より

$3$\displaystyle{\frac{\hspace{2}{\partial}\hspace{2}}{\hspace{2} {\partial}\hspace{1}{a}_{0} \hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} { \left{{ \hspace{1}{y}_{i}- \left({ \hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ i1 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ i2 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ im } }\right) }\right} }^{2} }=0}$

$3$\displaystyle{\displaystyle{{\sum }\limits_{ i=1 }^{n} \frac{\hspace{2}{\partial}\hspace{2}}{\hspace{2} {\partial}\hspace{1}{a}_{0} \hspace{2}}{ \left{{ \hspace{1}{y}_{i}- \left({ \hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ i1 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ i2 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ im } }\right) }\right} }^{2} }=0}$

$3$\displaystyle{\displaystyle{{\sum }\limits_{ i=1 }^{n} 2\left{{ \hspace{1}{y}_{i}- \left({ \hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ i1 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ i2 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ im } }\right) }\right}\left({ - 1 }\right) }=0}$

$3$\displaystyle{\displaystyle{{\sum }\limits_{ i=1 }^{n} \left{{ \hspace{1}{y}_{i}- \left({ \hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ i1 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ i2 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ im } }\right) }\right} }=0}$ ･･････(23)

が得られる．(23) を以下のように式変形をする．

$3$\displaystyle{{\sum }\limits_{ i=1 }^{n}\hspace{1}{y}_{i}- {\sum }\limits_{ i=1 }^{n}\left({ \hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ i1 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ i2 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ im } }\right)=0}$

$3$\displaystyle{{\sum }\limits_{ i=1 }^{n}\hspace{1}{y}_{i}={\sum }\limits_{ i=1 }^{n}\left({ \hspace{1}{a}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{ i1 }+\hspace{1}{a}_{2}\hspace{1}{x}_{ i2 }+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{ im } }\right)}$

$3$\displaystyle{{\sum }\limits_{ i=1 }^{n}\hspace{1}{y}_{i}={\sum }\limits_{ i=1 }^{n}\left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right)\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)}$

$3$\displaystyle{{\sum }\limits_{ i=1 }^{n}\hspace{1}{y}_{i}=\left{{ {\sum }\limits_{ i=1 }^{n}\left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right) }\right}\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)}$

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}1\cdot \hspace{1}{y}_{i}}$ $3$\displaystyle{=\left{{ {\sum }\limits_{ i=1 }^{n}1\cdot \left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right) }\right}\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)}$ ･･････(24)

(20)と(18)より，同様にして，以下の式が得られる．

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}\hspace{1}{x}_{ i1 }\hspace{1}{y}_{i}}$ $3$\displaystyle{=\left{{ {\sum }\limits_{ i=1 }^{n}\hspace{1}{x}_{ i1 }\left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right) }\right}\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)}$ ･･････(25)

(21)と(18)より，同様にして，以下の式が得られる．

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}\hspace{1}{x}_{ i2 }\hspace{1}{y}_{i}}$ $3$\displaystyle{=\left{{ {\sum }\limits_{ i=1 }^{n}\hspace{1}{x}_{ i2 }\left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right) }\right}\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)}$ ･･････(26)

(22)と(18)より，同様にして，以下の式が得られる．

$3$\displaystyle{{\displaystyle{\sum }}\limits_{ i=1 }^{n}\hspace{1}{x}_{ im }\hspace{1}{y}_{i}}$ $3$\displaystyle{=\left{{ {\sum }\limits_{ i=1 }^{n}\hspace{1}{x}_{ im }\left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right) }\right}\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)}$ ･･････(27)

行列を用いて，(24)，(25)，(26)，(27)を1つの式にまとめると

$3$\displaystyle{\left({ \begin{array} {\sum }\limits_{ i=1 }^{n}1\cdot \hspace{1}{y}_{i} & \vspace{6}\\ {\sum }\limits_{ i=1 }^{n}\hspace{1}{x}_{ i1 }\hspace{1}{y}_{i} & \vspace{6}\\ {\sum }\limits_{ i=1 }^{n}\hspace{1}{x}_{ i2 }\hspace{1}{y}_{i} & \vspace{6}\\ \vdots & \vspace{6}\\ {\sum }\limits_{ i=1 }^{n}\hspace{1}{x}_{ im }\hspace{1}{y}_{i} & \vspace{6}\\ \end{array} }\right)}$ $3$\displaystyle{=\left({ \begin{array} {\sum }\limits_{ i=1 }^{n}1\cdot \left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right) & \vspace{6}\\ {\sum }\limits_{ i=1 }^{n}\hspace{1}{x}_{ i1 }\left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right) & \vspace{6}\\ {\sum }\limits_{ i=1 }^{n}\hspace{1}{x}_{ i2 }\left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right) & \vspace{6}\\ \vdots & \vspace{6}\\ {\sum }\limits_{ i=1 }^{n}\hspace{1}{x}_{ im }\left({ \begin{array}1& \hspace{1}{x}_{ i1 } & \hspace{1}{x}_{ i2 } &\cdots & \hspace{1}{x}_{ im } & \vspace{6}\\ \end{array} }\right) & \vspace{6}\\ \end{array} }\right)\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)}$

$3$\displaystyle{\left({ \begin{array}1&1&\cdots &1& \vspace{6}\\ \hspace{1}{x}_{ 11 } & \hspace{1}{x}_{ 21 } &\cdots & \hspace{1}{x}_{ n1 } & \vspace{6}\\ \hspace{1}{x}_{ 12 } & \hspace{1}{x}_{ 22 } &\cdots & \hspace{1}{x}_{ n2 } & \vspace{6}\\ \vdots &\vdots &\ddots &\vdots & \vspace{6}\\ \hspace{1}{x}_{ 1m } & \hspace{1}{x}_{ 2m } &\cdots & \hspace{1}{x}_{ nm } & \vspace{6}\\ \end{array} }\right)\left({ \begin{array} \hspace{1}{y}_{1} & \vspace{6}\\ \hspace{1}{y}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{y}_{n} & \vspace{6}\\ \end{array} }\right)}$

$3$\displaystyle{=\left({ \begin{array}1&1&\cdots &1& \vspace{6}\\ \hspace{1}{x}_{ 11 } & \hspace{1}{x}_{ 21 } &\cdots & \hspace{1}{x}_{ n1 } & \vspace{6}\\ \hspace{1}{x}_{ 12 } & \hspace{1}{x}_{ 22 } &\cdots & \hspace{1}{x}_{ n2 } & \vspace{6}\\ \vdots &\vdots &\ddots &\vdots & \vspace{6}\\ \hspace{1}{x}_{ 1m } & \hspace{1}{x}_{ 2m } &\cdots & \hspace{1}{x}_{ nm } & \vspace{6}\\ \end{array} }\right)\left({ \begin{array}1& \hspace{1}{x}_{ 11 } & \hspace{1}{x}_{ 12 } &\cdots & \hspace{1}{x}_{ 1m } & \vspace{6}\\ 1& \hspace{1}{x}_{ 21 } & \hspace{1}{x}_{ 22 } &\cdots & \hspace{1}{x}_{ 2m } & \vspace{6}\\ \vdots &\vdots &\vdots &\ddots &\vdots & \vspace{6}\\ 1& \hspace{1}{x}_{ n1 } & \hspace{1}{x}_{ n2 } &\cdots & \hspace{1}{x}_{ nm } & \vspace{6}\\ \end{array} }\right)\left({ \begin{array}\hspace{1}{a}_{0}& \vspace{6}\\ \hspace{1}{a}_{1} & \vspace{6}\\ \hspace{1}{a}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{a}_{m} & \vspace{6}\\ \end{array} }\right)}$

$3$\displaystyle{\hspace{1}{}_{}^{y}X _{t}^{\alpha }t}\displaystyle{}=\hspace{1}{}_{}^{}X_{\alpha }^{}t$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。 ･･････(28)

となる．この式をさらに変形をする．

$3$\displaystyle{\hspace{1}{}_{}^{y}X _{t}^{\alpha }t}\displaystyle{}- \hspace{1}{}_{}^{}X_{\alpha }^{}t$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。

$3$\displaystyle{\hspace{1}{}_{}^{\displaystyle{y}}X _{t}^{}t}\left({ }\right)=\displaystyle{0}$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。

(13)を代入する．

(16)を用いると

$3$\displaystyle{\hspace{1}{}_{}^{{\varepsilon}}X _{t}^{}t}\displaystyle{}=\displaystyle{0}$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。 ･･････(29)

が得られる． $3$X$ の各列を

$3$\displaystyle{\left({ \begin{array}1& \vspace{6}\\ 1& \vspace{6}\\ \vdots & \vspace{6}\\ 1& \vspace{6}\\ \end{array} }\right)=\hspace{1}{\displaystyle{x}}_{0}}$ ･･(30) ，
$3$\displaystyle{\left({ \begin{array} \hspace{1}{x}_{ 11 } & \vspace{6}\\ \hspace{1}{x}_{ 21 } & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{x}_{ n1 } & \vspace{6}\\ \end{array} }\right)=\hspace{1}{\displaystyle{x}}_{1}}$ ･･(31) ，
$3$\displaystyle{\left({ \begin{array} \hspace{1}{x}_{ 12 } & \vspace{6}\\ \hspace{1}{x}_{ 22 } & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{x}_{ n2 } & \vspace{6}\\ \end{array} }\right)=\hspace{1}{\displaystyle{x}}_{2}}$ ･･(32)
，･･･，
$3$\displaystyle{\left({ \begin{array} \hspace{1}{x}_{ 1m } & \vspace{6}\\ \hspace{1}{x}_{ 2m } & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{x}_{ nm } & \vspace{6}\\ \end{array} }\right)=\hspace{1}{x}_{m}}$ ･･(33)

とおくと，(29)より

$3$\displaystyle{\hspace{1}{}_{}^{}\displaystyle{x} _{t}^{0}t}\hspace{1}{ }_{0}\displaystyle{{\varepsilon}}=0$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。 ･･(34) ，
$3$\displaystyle{\hspace{1}{}_{}^{}\displaystyle{x} _{t}^{1}t}\hspace{1}{ }_{1}\displaystyle{{\varepsilon}}=0$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。 ･･(35) ，
$3$\displaystyle{\hspace{1}{}_{}^{}\displaystyle{x} _{t}^{2}t}\hspace{1}{ }_{2}\displaystyle{{\varepsilon}}=0$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。 ･･(36)
，･･･，
$3$\displaystyle{\hspace{1}{}_{}^{}\displaystyle{x}\hspace{5}\hspace{5}_{t}^{m}t}\hspace{1}{ }_{m}\displaystyle{{\varepsilon}}=0$ ･･(37)

の関係が得られる．

$3$\displaystyle{\displaystyle{\hat{y}}}$ を $3$\displaystyle{ \hspace{1}{\displaystyle{x}}_{0} }$ ， $3$\displaystyle{ \hspace{1}{\displaystyle{x}}_{1} }$ ， $3$\displaystyle{ \hspace{1}{\displaystyle{x}}_{2} }$ ，･･･， $3$\displaystyle{ \hspace{1}{\displaystyle{x}}_{m} }$ を使って表わすと

$3$\displaystyle{ \displaystyle{\hat{y}}=\hspace{1}{a}_{0}\hspace{1}{\displaystyle{x}}_{0}+\hspace{1}{a}_{1}\hspace{1}{\displaystyle{x}}_{1}+\hspace{1}{a}_{2}\hspace{1}{\displaystyle{x}}_{2}+\cdots +\hspace{1}{a}_{m}\hspace{1}{\displaystyle{x}}_{m} }$ ･･････(38)

となる．

(38)を用いて，以下のような計算をする．

$3$\displaystyle{\hspace{1}{}_{}^{{\varepsilon}}\displaystyle{\hat{y}} _{t}^{{\varepsilon}}t}\displaystyle{}=\hspace{1}{}_{}^{}\left({ \hspace{1}{a}_{0}\hspace{1}{\displaystyle{x}}_{0}+\hspace{1}{a}_{1}\hspace{1}{\displaystyle{x}}_{1}+\hspace{1}{a}_{2}\hspace{1}{\displaystyle{x}}_{2}+\cdots +\hspace{1}{a}_{m}\hspace{1}{\displaystyle{x}}_{m} }\right)_{{\varepsilon}}^{}t$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。

この転置行列の性質を用いると

$3$\displaystyle{\hspace{1}{}_{ }^{{\varepsilon}\left({ \hspace{1}{a}_{2}\hspace{1}{\displaystyle{x}}_{2} }\right)}\displaystyle{\hat{y}} _{t}^{+}t}\displaystyle{}=\left{{ \hspace{1}{}_{\left({ \hspace{1}{a}_{1}\hspace{1}{\displaystyle{x}}_{1} }\right)}^{} \left({ \hspace{1}{a}_{0}\hspace{1}{\displaystyle{x}}_{0} }\right) t_{ \hspace{1}{a}_{2}\hspace{1}{\displaystyle{x}}_{2} }^{}t +\hspace{1}{}_{}^{} _{\left({ \hspace{1}{a}_{2}\hspace{1}{\displaystyle{x}}_{2} }\right)}^{}t}\right}+\hspace{1}{}_{}^{ 0} _{}^{}t$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。

この転置行列の性質を用いると

$3$\displaystyle{\hspace{1}{}_{0}^{{\varepsilon}a}\displaystyle{\hat{y}} _{t}^{ }t}\displaystyle{}=\left{{ \hspace{1}{a}_{0}\hspace{1}{}_{}^{}\displaystyle{x}0_{}^{}t \hspace{1}{ }_{0}+\hspace{1}{a}_{1}\hspace{1}{}_{}^{ 0}\displaystyle{x}_{}^{}t}\right}\hspace{1}{ }_{1}+\hspace{1}{a}_{2}\hspace{1}{}_{ 1}^{ 2}\displaystyle{x}_{}^{ 0}t$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。

この行列の性質を使うと

$3$\displaystyle{\hspace{1}{}_{}^{{\varepsilon}}\displaystyle{\hat{y}} _{t}^{0}t}\displaystyle{}=\hspace{1}{a}_{0}\hspace{1}{}_{}^{}\displaystyle{x}_{}^{}t$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。

(34)，(35)，(36)，(37)より

$3$\displaystyle{\displaystyle{\hat{y}}\cdot \displaystyle{{\varepsilon}}=0}$ ･･････(39)

( $3$\displaystyle{\hspace{1}{}_{}^{{\varepsilon}}\hat{y} _{t}^{^}t}\displaystyle{}=\hat{y}\cdot \displaystyle{{\varepsilon}}$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。
TeXに変換設定していない数学記号や，特殊文字が含まれています。今後直していきます。
関しては，内積を参照)

の関係が成り立っている．

$3$\displaystyle{{\left|{\displaystyle{y}}\right|}^{2}}$ の計算をすると

$3$\displaystyle{{\left|{\displaystyle{y}}\right|}^{2}=\displaystyle{y}\cdot \displaystyle{y}}$ (ベクトルの大きさと内積の関係を参照)

(15)の関係を用いると

$3$\displaystyle{=\left({ \displaystyle{\hat{y}}+\displaystyle{{\varepsilon}} }\right)\cdot \left({ \displaystyle{\hat{y}}+\displaystyle{{\varepsilon}} }\right)}$

内積の計算の基本則を用いると

$3$\displaystyle{=\left({ \displaystyle{\hat{y}}+\displaystyle{{\varepsilon}} }\right)\cdot \displaystyle{\hat{y}}+\left({ \displaystyle{\hat{y}}+\displaystyle{{\varepsilon}} }\right)\cdot \displaystyle{{\varepsilon}}}$

$3$\displaystyle{=\displaystyle{\hat{y}}\cdot \displaystyle{\hat{y}}+\displaystyle{{\varepsilon}}\cdot \displaystyle{\hat{y}}++\displaystyle{\hat{y}}\cdot \displaystyle{{\varepsilon}}+\displaystyle{{\varepsilon}}\cdot \displaystyle{{\varepsilon}}}$

$3$\displaystyle{={\left|{\displaystyle{\hat{y}}}\right|}^{2}+{\left|{\displaystyle{{\varepsilon}}}\right|}^{2}}$ ･･････(40)

となる．

(34)を以下のように式変形をする．

$3$\displaystyle{\hspace{1}{}_{}^{}\displaystyle{x} _{t}^{0}t}\hspace{1}{ }_{0}\displaystyle{{\varepsilon}}=0$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。

$3$\displaystyle{\left({ \begin{array}1&1&\cdots &1& \vspace{6}\\ \end{array} }\right)\left({ \begin{array} \hspace{1}{{\varepsilon}}_{1} & \vspace{6}\\ \hspace{1}{{\varepsilon}}_{2} & \vspace{6}\\ \vdots & \vspace{6}\\ \hspace{1}{{\varepsilon}}_{n} & \vspace{6}\\ \end{array} }\right)=0}$

$3$\displaystyle{\hspace{1}{{\varepsilon}}_{1}+\hspace{1}{{\varepsilon}}_{2}+\cdots +\hspace{1}{{\varepsilon}}_{n}=0}$

$3$\displaystyle{\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\left({ \hspace{1}{{\varepsilon}}_{1}+\hspace{1}{{\varepsilon}}_{2}+\cdots +\hspace{1}{{\varepsilon}}_{n} }\right)=0}$

$3$\displaystyle{\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{{\varepsilon}}_{i} }=0}$

$3$\displaystyle{\bar{{\varepsilon}}=0}$ ･･････(41)

すなわち，残差の平均 $3$\displaystyle{\bar{{\varepsilon}}}$ は0となる．

(7)を用いて以下の計算をする．

$3$\displaystyle{\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{{\varepsilon}}_{i} }=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \left({ \hspace{1}{y}_{i}- \hspace{1}{\hat{y}}_{i} }\right) }}$

$3$\displaystyle{\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{{\varepsilon}}_{i} }=\frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{y}_{i} }- \frac{\hspace{2}1\hspace{2}}{\hspace{2}n\hspace{2}}\displaystyle{{\sum }\limits_{ i=1 }^{n} \hspace{1}{\hat{y}}_{i} }}$

(3)，(4)，(5)より

$3$\displaystyle{\bar{{\varepsilon}}=\bar{y}- \hat{\hat{y}}}$ ･･････(42)

(41)，(42)より

$3$\displaystyle{\bar{y}=\hat{\hat{y}}}$ ･･････(43)

の関係が得られる．

全変動 $3$\displaystyle{{\sum }\limits_{ i=1 }^{n}{\left({ \hspace{1}{y}_{i}- \bar{y} }\right)}^{2}}$ の計算を以下のように進める．

$3$\displaystyle{{\sum }\limits_{ i=1 }^{n}{\left({ \hspace{1}{y}_{i}- \bar{y} }\right)}^{2}={\left|{ \displaystyle{y}- \bar{\displaystyle{y}} }\right|}^{2}}$

$3$\displaystyle{=\left({ \displaystyle{y}- \bar{\displaystyle{y}} }\right)\cdot \left({ \displaystyle{y}- \bar{\displaystyle{y}} }\right)}$

$3$\displaystyle{\bar{\displaystyle{y}}=\left({ \begin{array}\bar{y}& \vspace{6}\\ \bar{y}& \vspace{6}\\ \vdots & \vspace{6}\\ \bar{y}& \vspace{6}\\ \end{array} }\right)=\bar{y}\left({ \begin{array}1& \vspace{6}\\ 1& \vspace{6}\\ \vdots & \vspace{6}\\ 1& \vspace{6}\\ \end{array} }\right)=\bar{y}\hspace{1}{\displaystyle{x}}_{0}}$ ･･････(44) とおくと

$3$\displaystyle{=\left({ \displaystyle{y}- \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)\cdot \left({ \displaystyle{y}- \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)}$

$3$\displaystyle{=\left({ \hat{\displaystyle{y}}+\displaystyle{{\varepsilon}}- \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)\cdot \left({ \hat{\displaystyle{y}}+\displaystyle{{\varepsilon}}- \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)}$

$3$\displaystyle{=\left({ \hat{\displaystyle{y}}+\displaystyle{{\varepsilon}}- \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)\cdot \hat{\displaystyle{y}}}$ $3$\displaystyle{+\left({ \hat{\displaystyle{y}}+\displaystyle{{\varepsilon}}- \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)\cdot \displaystyle{{\varepsilon}}}$ $3$\displaystyle{- \left({ \hat{\displaystyle{y}}+\displaystyle{{\varepsilon}}- \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)\cdot \left({ \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)}$

$3$\displaystyle{=\hat{\displaystyle{y}}\cdot \hat{\displaystyle{y}}+\displaystyle{{\varepsilon}}\cdot \hat{\displaystyle{y}}- \bar{y}\left({ \hspace{1}{\displaystyle{x}}_{0}\cdot \hat{\displaystyle{y}} }\right)}$ $3$\displaystyle{+\hat{\displaystyle{y}}\cdot \displaystyle{{\varepsilon}}+\displaystyle{{\varepsilon}}\cdot \displaystyle{{\varepsilon}}- \bar{y}\hspace{1}{\displaystyle{x}}_{0}\cdot \displaystyle{{\varepsilon}}}$ $3$\displaystyle{- \bar{y}\left({ \hat{\displaystyle{y}}\cdot \hspace{1}{\displaystyle{x}}_{0} }\right)- \bar{y}\left({ \displaystyle{{\varepsilon}}\cdot \hat{\displaystyle{y}} }\right)+{\bar{y}}^{2}\left({ \hspace{1}{\displaystyle{x}}_{0}\cdot \hspace{1}{\displaystyle{x}}_{0} }\right)}$

(34)から(38)を適用すると

$3$\displaystyle{\hspace{1}{x}_{0}\cdot \displaystyle{{\varepsilon}}=\hspace{1}{}_{}^{}x_{}^{}t}\hspace{1}{ }_{0}\displaystyle{{\varepsilon}}=0$

$3$\displaystyle{\displaystyle{{\varepsilon}}\cdot \hat{\displaystyle{y}}=\displaystyle{{\varepsilon}}\cdot \left({ \hspace{1}{a}_{0}\hspace{1}{x}_{0}+\hspace{1}{a}_{1}\hspace{1}{x}_{1}+\hspace{1}{a}_{2}\hspace{1}{x}_{2}+\cdots +\hspace{1}{a}_{m}\hspace{1}{x}_{m} }\right)}$

$3$\displaystyle{=\displaystyle{{\varepsilon}}\cdot \left({ \hspace{1}{a}_{0}\hspace{1}{x}_{0} }\right)+\displaystyle{{\varepsilon}}\cdot \left({ \hspace{1}{a}_{0}\hspace{1}{x}_{1} }\right)+\displaystyle{{\varepsilon}}\cdot \left({ \hspace{1}{a}_{0}\hspace{1}{x}_{2} }\right)+\cdots +\displaystyle{{\varepsilon}}\cdot \left({ \hspace{1}{a}_{m}\hspace{1}{x}_{m} }\right)}$

$3$\displaystyle{=\hspace{1}{a}_{0}\left({ \displaystyle{{\varepsilon}}\cdot \hspace{1}{x}_{0} }\right)+\hspace{1}{a}_{1}\left({ \displaystyle{{\varepsilon}}\cdot \hspace{1}{x}_{1} }\right)+\hspace{1}{a}_{2}\left({ \displaystyle{{\varepsilon}}\cdot \hspace{1}{x}_{2} }\right)+\cdots +\hspace{1}{a}_{m}\left({ \displaystyle{{\varepsilon}}\cdot \hspace{1}{x}_{m} }\right)}$

$3$\displaystyle{=\hspace{1}{a}_{0}\left({ \hspace{1}{x}_{0}\cdot \displaystyle{{\varepsilon}} }\right)+\hspace{1}{a}_{1}\left({ \hspace{1}{x}_{1}\cdot \displaystyle{{\varepsilon}} }\right)+\hspace{1}{a}_{2}\left({ \hspace{1}{x}_{2}\cdot \displaystyle{{\varepsilon}} }\right)+\cdots +\hspace{1}{a}_{m}\left({ \hspace{1}{x}_{m}\cdot \displaystyle{{\varepsilon}} }\right)}$

$3$\displaystyle{=\hspace{1}{a}_{0}\left({ \hspace{1}{}_{}^{}x _{t}^{0}t \hspace{1}{ }_{0}\displaystyle{{\varepsilon}}}\right)}+\hspace{1}{a}_{1}\left({ \hspace{1}{}_{}^{}xt_{1}^{}t \hspace{1}{ }_{1}\displaystyle{{\varepsilon}}}\right)$
MathMLのtextタグの中に日本語が含まれており、日本語が文字化けしています。今後直していきます。

$3$\displaystyle{=0}$

同様にして

$3$\displaystyle{\hat{\displaystyle{y}}\cdot \displaystyle{{\varepsilon}}=0}$

$3$\displaystyle{=\hat{\displaystyle{y}}\cdot \hat{\displaystyle{y}}- 2\bar{y}\left({ \hspace{1}{\displaystyle{x}}_{0}\cdot \hat{\displaystyle{y}} }\right)+{\bar{y}}^{2}\left({ \hspace{1}{\displaystyle{x}}_{0}\cdot \hspace{1}{\displaystyle{x}}_{0} }\right)+\displaystyle{{\varepsilon}}\cdot \displaystyle{{\varepsilon}}}$

$3$\displaystyle{=\left({ \hat{\displaystyle{y}}- \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)\cdot \left({ \hat{\displaystyle{y}}- \bar{y}\hspace{1}{\displaystyle{x}}_{0} }\right)+\displaystyle{{\varepsilon}}\cdot \displaystyle{{\varepsilon}}}$

(43) と(41)を用いると以下のように式変形できる．

$3$\displaystyle{=\left({ \hat{\displaystyle{y}}- \hat{\hat{y}}\hspace{1}{\displaystyle{x}}_{0} }\right)\cdot \left({ \hat{\displaystyle{y}}- \hat{\hat{y}}\hspace{1}{\displaystyle{x}}_{0} }\right)}$ $3$\displaystyle{+\left({ \displaystyle{{\varepsilon}}- \bar{{\varepsilon}}\hspace{1}{\displaystyle{x}}_{0} }\right)\cdot \left({ \displaystyle{{\varepsilon}}- \bar{{\varepsilon}}\hspace{1}{\displaystyle{x}}_{0} }\right)}$

$3$\displaystyle{\hat{\displaystyle{\hat{y}}}}$ ， $3$\displaystyle{\displaystyle{\bar{{\varepsilon}}}}$ を次のように定義する．

$3$\displaystyle{\hat{\displaystyle{\hat{y}}}=\left({ \begin{array} \hat{\hat{y}} & \vspace{6}\\ \hat{\hat{y}} & \vspace{6}\\ \vdots & \vspace{6}\\ \hat{\hat{y}} & \vspace{6}\\ \end{array} }\right)=\hat{\hat{y}}\left({ \begin{array}1& \vspace{6}\\ 1& \vspace{6}\\ \vdots & \vspace{6}\\ 1& \vspace{6}\\ \end{array} }\right)=\hat{\hat{y}}\hspace{1}{\displaystyle{x}}_{0}}$ ･･････(45) ，
$3$\displaystyle{\bar{\displaystyle{{\varepsilon}}}=\left({ \begin{array} \bar{{\varepsilon}} & \vspace{6}\\ \bar{{\varepsilon}} & \vspace{6}\\ \vdots & \vspace{6}\\ \bar{{\varepsilon}} & \vspace{6}\\ \end{array} }\right)=\bar{{\varepsilon}}\left({ \begin{array}1& \vspace{6}\\ 1& \vspace{6}\\ \vdots & \vspace{6}\\ 1& \vspace{6}\\ \end{array} }\right)=\bar{{\varepsilon}}\hspace{1}{x}_{0}}$ ･･････(46)

$3$\displaystyle{=\left({ \displaystyle{\hat{y}}- \hat{\displaystyle{\hat{y}}} }\right)\cdot \left({ \displaystyle{\hat{y}}- \hat{\displaystyle{\hat{y}}} }\right)}$ $3$\displaystyle{+\left({ \displaystyle{{\varepsilon}}- \bar{\displaystyle{{\varepsilon}}} }\right)\cdot \left({ \displaystyle{{\varepsilon}}- \bar{\displaystyle{{\varepsilon}}} }\right)}$

$3$\displaystyle{={\left|{ \displaystyle{\hat{y}}- \hat{\displaystyle{\hat{y}}} }\right|}^{2}+{\left|{ \displaystyle{{\varepsilon}}- \bar{\displaystyle{{\varepsilon}}} }\right|}^{2}}$

$3$\displaystyle{={\sum }\limits_{ i=1 }^{n}{\left({ \hspace{1}{\hat{y}}_{i}- \bar{y} }\right)}^{2}+{\sum }\limits_{ i=1 }^{n}{\left({ \hspace{1}{{\varepsilon}}_{i}- \bar{{\varepsilon}} }\right)}^{2}}$

以上より，(2)が証明された．

ホーム>>カテゴリー分類>>確率>>統計>>線形重回帰分析における「変動の分解」

　最終更新日： 2026年5月20日