関連するページを見るにはこのグラフ図を利用してください.

最小二乗法

ある物理量 y がある物理量 x の関数で

y = a x + b

と表されるとする.例えば x の値を決めて y の値を測定する作業を n 回繰り返し,表のように n 個の x y の対が得られたとする.

測定回数 1 2 3 …… n 1 n
x の値 x 1 x 2 x 3 …… x n 1 x n
y の値 y 1 y 2 y 3 …… y n 1 y n

この x y の対を x y 座標上にプロットすると

となり,実験条件のバラツキや測定誤差などの要因で,プロットした点は直線上に乗らない.(本来なら y = a x + b の関係があるので,すべての点は直線上に乗るはずである.)

プロットした点と y = a x + b との y 軸方向の値の差 Δ i

Δ i = y i ( a x i + b )

となる. a b の値によって Δ i の値は変化する.すべての点で Δ i の値を小さくする a b の値が, x y の関係を表す最も確からしい値だと考えることができる. a b の値を決める方法として

Δ 2 = i = 1 n Δ i 2 = i = 1 n { y i ( a x i + b ) } 2

の値を最小とする a b を用いる方法がある.この方法のことを最小二乗法という.

Δ 2 は最小となる a b の値

a = σ x y σ x 2 b = y ¯ a x ¯

ただし

x ¯ = 1 n i = 1 n x i y ¯ = 1 n i = 1 n y i (参照:平均)

σ x y = 1 n i = 1 n x i y i x ¯ y ¯ (参照:共分散)

σ x 2 = 1 n i = 1 n x i 2 x ¯ 2 (参照:分散)

■導出

偏導関数を用いた計算 ⇒ ここ

Δ 2 の最小となる a b の値を平方完成を利用して求める.

Δ 2 = i = 1 n { y i ( a x i + b ) } 2

= i = 1 n { y i 2 2 ( a x i + b ) y i + ( a x i + b ) 2 }

= i = 1 n { y i 2 2 a x i y i 2 b y i + a 2 x i 2 + 2 a b x i + b 2 }

= i = 1 n y i 2 + i = 1 n ( 2 a x i y i ) + i = 1 n ( 2 b y i ) + i = 1 n a 2 x i 2 + i = 1 n 2 a b x i + i = 1 n b 2

= i = 1 n y i 2 2 a i = 1 n x i y i 2 b i = 1 n y i + a 2 i = 1 n x i 2 + 2 a b i = 1 n x i + n b 2

i = 1 n y i 2 = A i = 1 n x i y i = B i = 1 n y i = C i = 1 n x i 2 = D i = 1 n x i = E とおくと

= A 2 a B 2 b C + a 2 D + 2 a b E + n b 2

= n b 2 + 2 ( E a C ) b + D a 2 2 B a + A

= n ( b + E a C n ) 2 1 n ( E a C ) 2 + D a 2 2 B a + A

= n b + E a C n 2 + 1 n E 2 a 2 + 2 C E a C 2 + n D a 2 2 n B a + n A

= n ( b + E a C n ) 2 + 1 n n D E 2 a 2 + 2 C E n B a + n A C 2

= n ( b + E a C n ) 2 + 1 n ( n D E 2 ) ( a + C E n B n D E 2 ) 2 1 n C E n B 2 n D E 2 + A 1 n C 2

これより, Δ 2 が最小になるのは

b + E a C n = 0 a + C E n B n D E 2 = 0

の時である.よって

a = C E n B n D E 2

= n B C E n D E 2

= 1 n 2 n i = 1 n x i y i i = 1 n x i i = 1 n y i 1 n 2 n i = 1 n x i 2 i = 1 n x i 2

= 1 n i = 1 n x i y i 1 n i = 1 n x i 1 n i = 1 n y i 1 n i = 1 n x i 2 1 n i = 1 n x i 2

ここで

x ¯ = 1 n i = 1 n x i y ¯ = 1 n i = 1 n y i (参照:平均) ・・・・・・(1)

σ x y = 1 n i = 1 n x i y i x ¯ y ¯ (参照:共分散) ・・・・・・(2)

σ x 2 = 1 n i = 1 n x i 2 x ¯ 2 (参照:分散) ・・・・・・(3)

とおくと

= σ x y σ x 2 ・・・・・・(4)

b = E a C n

= C E a n

= 1 n ( C E n B C E n D E 2 )

= 1 n n C D C E 2 n B E + C E 2 n D E 2

= C D B E n D E 2

= i = 1 n x i 2 i = 1 n y i i = 1 n x i y i i = 1 n x i n i = 1 n x i 2 ( i = 1 n x i ) 2

= 1 n 2 i = 1 n x i 2 i = 1 n y i i = 1 n x i y i i = 1 n x i 1 n 2 n i = 1 n x i 2 i = 1 n x i 2

= 1 n i = 1 n x i 2 1 n i = 1 n y i 1 n i = 1 n x i y i 1 n i = 1 n x i 1 n i = 1 n x i 2 1 n i = 1 n x i 2

(1)より

= 1 n i = 1 n x i 2 y ¯ 1 n i = 1 n x i y i x ¯ 1 n i = 1 n x i 2 x ¯ 2

= 1 n i = 1 n x i 2 y ¯ x ¯ 2 y ¯ + x ¯ 2 y ¯ 1 n i = 1 n x i y i x ¯ 1 n i = 1 n x i 2 x ¯ 2

= 1 n i = 1 n x i 2 x ¯ 2 y ¯ x ¯ 1 n i = 1 n x i y i x ¯ y ¯ 1 n i = 1 n x i 2 x ¯ 2

= y ¯ 1 n i = 1 n x i y i x ¯ y ¯ 1 n i = 1 n x i 2 x ¯ 2 x ¯

(2),(3)より

= y ¯ σ x y σ x 2 x ¯

(4)より

= y ¯ a x ¯

以上をまとめると

a = σ x y σ x 2 b = y ¯ a x ¯

とき Δ 2 は最小となる.

 

ホーム>>カテゴリー別分類>>その他>>最小二乗法

最終更新日 2025年2月8日

[ページトップ]

金沢工業大学

利用規約

google translate (English version)