最小二乗法(偏微分を用いた計算)

ある物理量 $y$ がある物理量 $x$ の関数で

$y = a x + b$

と表されるとする．例えば $x$ の値を決めて $y$ の値を測定する作業を $n$ 回繰り返し，表のように $n$ 個の $x$ と $y$ の対が得られたとする．

測定回数	$1$	$2$	$3$	……	$n - 1$	$n$
$x$ の値	$x_{1}$	$x_{2}$	$x_{3}$	……	$x_{n - 1}$	$x_{n}$
$y$ の値	$y_{1}$	$y_{2}$	$y_{3}$	……	$y_{n - 1}$	$y_{n}$

この $x$ と $y$ の対を $x y$ 座標上にプロットすると

となり，実験条件のバラツキや測定誤差などの要因で，プロットした点は直線上に乗らない．(本来なら $y = a x + b$ の関係があるので，すべての点は直線上に乗るはずである．)

プロットした点と $y = a x + b$ との $y$ 軸方向の値の差 $Δ_{i}$ は

$Δ_{i} = y_{i} - (a x_{i} + b)$

となる． $a$ ， $b$ の値によって $Δ_{i}$ の値は変化する．すべての点で $Δ_{i}$ の値を小さくする $a$ ， $b$ の値が， $x$ と $y$ の関係を表す最も確からしい値だと考えることができる． $a$ ， $b$ の値を決める方法として

$Δ^{2} = \sum_{i = 1}^{n} Δ i^{2} = \sum_{i = 1}^{n} {y_{i} - (a x_{i} + b)}^{2}$

の値を最小とする $a$ ， $b$ を用いる方法がある．この方法のことを最小二乗法という．

● $Δ^{2}$ は最小となる $a$ と $b$ の値

$a = \frac{σ_{x y}}{σ_{x}^{2}}$ ， $b = \bar{y} - a \bar{x}$

ただし

$\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}$ ， $\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}$ (参照：平均)

$σ_{x y} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i} - \bar{x} \bar{y}$ (参照：共分散)

$σ_{x}^{2} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2} - {\bar{x}}^{2}$ (参照：分散)

■導出

$Δ^{2}$ を $a$ ， $b$ の $2$ 変数関数と考える.

$Δ^{2} = \sum_{i = 1}^{n} {\{y_{i} - (a x_{i} + b)\}}^{2}$

$= \sum_{i = 1}^{n} \{y_{i}^{2} - 2 (a x_{i} + b) y_{i} + {(a x_{i} + b)}^{2}\}$

$= \sum_{i = 1}^{n} (y_{i}^{2} - 2 a x_{i} y_{i} - 2 b y_{i} + a^{2} x_{i}^{2} + 2 a b x_{i} + b^{2})$

$= \sum_{i = 1}^{n} (x_{i}^{2} a^{2} + b^{2} + 2 x_{i} a b - 2 x_{i} y_{i} a - 2 y_{i} b + y_{i}^{2})$

$a^{2}$ ， $b^{2}$ の係数が正であることより， $Δ^{2}$ は最小値を持つ．

$Δ^{2}$ が最小値を示す時

$\frac{\partial}{\partial a} Δ^{2} = 0$ 　･･････(1)

$\frac{\partial}{\partial b} Δ^{2} = 0$ 　･･････(2)

を満たす(偏導関数を参照)．

$\frac{\partial}{\partial a} Δ^{2} = \frac{\partial}{\partial a} \sum_{i = 1}^{n} {\{y_{i} - (a x_{i} + b)\}}^{2}$

$= \sum_{i = 1}^{n} \frac{\partial}{\partial a} {\{y_{i} - (a x_{i} + b)\}}^{2}$

$= \sum_{i = 1}^{n} 2 \{y_{i} - (a x_{i} + b)\} \frac{\partial}{\partial a} \{y_{i} - (a x_{i} + b)\}$

$= \sum_{i = 1}^{n} 2 \{y_{i} - (a x_{i} + b)\} (- x_{i})$

$= - 2 \sum_{i = 1}^{n} \{y_{i} - (a x_{i} + b)\} x_{i}$

$= - 2 \sum_{i = 1}^{n} (y_{i} x_{i} - a x_{i}^{2} - b x_{i})$

$= - 2 (\sum_{i = 1}^{n} y_{i} x_{i} - a \sum_{i = 1}^{n} x_{i}^{2} - b \sum_{i = 1}^{n} x_{i})$ 　･･････(3)

（3），(1)より

$\sum_{i = 1}^{n} y_{i} x_{i} - a \sum_{i = 1}^{n} x_{i}^{2} - b \sum_{i = 1}^{n} x_{i} = 0$ 　･･････(4)

(2)より

$\frac{\partial}{\partial b} Δ^{2} = \frac{\partial}{\partial b} \sum_{i = 1}^{n} {\{y_{i} - (a x_{i} + b)\}}^{2}$

$= \sum_{i = 1}^{n} \frac{\partial}{\partial b} {\{y_{i} - (a x_{i} + b)\}}^{2}$

$= \sum_{i = 1}^{n} 2 \{y_{i} - (a x_{i} + b)\} \frac{\partial}{\partial b} \{y_{i} - (a x_{i} + b)\}$

$= \sum_{i = 1}^{n} 2 \{y_{i} - (a x_{i} + b)\} (- 1)$

$= - 2 \sum_{i = 1}^{n} \{y_{i} - (a x_{i} + b)\}$

$= - 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b)$

$= - 2 (\sum_{i = 1}^{n} y_{i} - a \sum_{i = 1}^{n} x_{i} - b \sum_{i = 1}^{n} 1)$

$= - 2 (\sum_{i = 1}^{n} y_{i} - a \sum_{i = 1}^{n} x_{i} - n b)$ 　･･････(5)

(5)，(2)より

$\sum_{i = 1}^{n} y_{i} - a \sum_{i = 1}^{n} x_{i} - n b = 0$ 　･･････(6)

(6)より

$b = \frac{1}{n} (\sum_{i = 1}^{n} y_{i} - a \sum_{i = 1}^{n} x_{i})$

$= \frac{1}{n} \sum_{i = 1}^{n} y_{i} - a \cdot \frac{1}{n} \sum_{i = 1}^{n} x_{i}$ 　･･････(7)

(4)に(7)を代入する．

$\sum_{i = 1}^{n} y_{i} x_{i} - a \sum_{i = 1}^{n} x_{i}^{2} - (\frac{1}{n} \sum_{i = 1}^{n} y_{i} - a \cdot \frac{1}{n} \sum_{i = 1}^{n} x_{i}) \sum_{i = 1}^{n} x_{i} = 0$

$- a \{\sum_{i = 1}^{n} x_{i}^{2} - \frac{1}{n} {(\sum_{i = 1}^{n} x_{i})}^{2}\} = \sum_{i = 1}^{n} y_{i} x_{i} - (\frac{1}{n} \sum_{i = 1}^{n} y_{i}) \sum_{i = 1}^{n} x_{i}$

$a = \frac{\sum_{i = 1}^{n} y_{i} x_{i} - (\frac{1}{n} \sum_{i = 1}^{n} y_{i}) \sum_{i = 1}^{n} x_{i}}{\sum_{i = 1}^{n} x_{i}^{2} - \frac{1}{n} {(\sum_{i = 1}^{n} x_{i})}^{2}}$ 　･･････(8)

$\frac{1}{n} \sum_{i = 1}^{n} x_{i} = \bar{x}$ 　 (参照：平均) ･･････(9)

$\frac{1}{n} \sum_{i = 1}^{n} y_{i} = \bar{y}$ 　 (参照：平均) ･･････(10)

(8)に(9)，(10)を代入する．

$= \frac{\frac{1}{n} \sum_{i = 1}^{n} y_{i} x_{i} - (\frac{1}{n} \sum_{i = 1}^{n} y_{i}) \frac{1}{n} \sum_{i = 1}^{n} x_{i}}{\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2} - {(\frac{1}{n} \sum_{i = 1}^{n} x_{i})}^{2}}$

$= \frac{\frac{1}{n} \sum_{i = 1}^{n} y_{i} x_{i} - \bar{y} \cdot \bar{x}}{\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2} - {\bar{x}}^{2}}$ 　･･････(11)

$σ_{x y} = \frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i} - \bar{x} \bar{y}$ (参照：共分散)　･･････(12)

$σ_{x}^{2} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2} - {\bar{x}}^{2}$ (参照：分散)　･･････(13)

(11)に(12)，(13)を代入する．

$= \frac{σ_{x y}}{σ_{x}^{2}}$ 　･･････(14)

(7）に(9)，(10)を代入する．

$b = \bar{y} - a \bar{x}$ 　･･････(15)

以上をまとめると

$a = \frac{σ_{x y}}{σ_{x}^{2}}$ ， $b = \bar{y} - a \bar{x}$

とき $Δ^{2}$ は最小となる．

ホーム>>カテゴリー別分類>>その他>>最小二乗法

最終更新日 2026年6月2日

最小二乗法(偏微分を用いた計算)

● Δ 2 は最小となる a と b の値

■導出

● $Δ^{2}$ は最小となる $a$ と $b$ の値