回帰係数の確率分布1(線形単回帰)

線形単回帰式(ここを参照)

$\hat{y} = {\hat{β}}_{0} + {\hat{β}}_{1} x$

の確率変数の ${\hat{β}}_{0}$ ， ${\hat{β}}_{1}$ の確率分布は

${\hat{β}}_{0} \sim N (β_{0}, \frac{σ^{2} \sum_{i = 1}^{n} x_{i}^{2}}{n \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}})$

${\hat{β}}_{1} \sim N (β_{1}, \frac{σ^{2}}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}})$

となる．

【前提条件】

誤差はランダムに生じ，平均 $0$ の正規分布に従うと仮定する．式で表すと以下のようになる．

$ε_{i} \sim N (0, σ^{2})$ ：誤差は正規分布に従い，その平均は $0$ （ $E (ε_{i}) = 0$ ），その分散は $σ^{2}$ （ $E (ε_{i}^{2}) = V (ε_{i}) = σ^{2}$ ），である．
$i \neq j$ のとき， $ε_{i}$ と $ε_{j}$ は互いに独立である（独立ならば無相関であるから， $i \neq j$ のとき共分散 $Cov (ε_{i}, ε_{j}) = 0$ である（ここを参照））．

●参考

${\hat{β}}_{0} \to t_{0} = \frac{{\hat{β}}_{0} - β_{0}}{SE ({\hat{β}}_{0})}$ ， ${\hat{β}}_{1} \to t_{1} = \frac{{\hat{β}}_{1} - β_{1}}{SE ({\hat{β}}_{1})}$ に変換した場合の確率分布⇒このページ

■導出

このページの(23)より，標本より求めた線形単回帰式の回帰係数 ${\hat{β}}_{0}$ ， ${\hat{β}}_{1}$ は

$\hat{β} = {({}^{t}X X)}^{- 1} {}^{t}X y$ ･･･(1)

$y = (\begin{matrix} y_{1} \\ y_{2} \\ ⋮ \\ y_{n} \end{matrix})$ ･･･(2) ， $X = (\begin{matrix} 1 & x_{1} \\ 1 & x_{2} \\ ⋮ & ⋮ \\ 1 & x_{n} \end{matrix})$ ･･･(3)， $\hat{β} = (\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \end{matrix})$ ･･･(4)

で表される．

(1)に(2)，(3)，(4)を代入し，このように計算すると

${\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}$ ･･････(5)

${\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}$ ･･････(6)

となる．

${\hat{β}}_{0}$ ， ${\hat{β}}_{1}$ を， $ε_{i}$ を用いた式に書き換えるために，まず

$y_{i} = β_{0} + β_{1} x_{i} + ε_{i}$ ･･････(7)

（誤差を参照， $β_{0}$ ， $β_{1}$ は母集団から求めた回帰係数であるので， ${\hat{β}}_{0}$ ， ${\hat{β}}_{1}$ とは異なる．）

$\bar{y} = β_{0} + β_{1} \bar{x} + \bar{ε}$ ･･････(8)

【(8)の導出】

(7)の平均をとる．

$\frac{1}{n} \sum_{i = 1}^{n} y_{i} = \frac{1}{n} \sum_{i = 1}^{n} (β_{0} + β_{1} x_{i} + ε_{i})$

$\frac{1}{n} \sum_{i = 1}^{n} y_{i}$ $= β_{0} + β_{1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + (\frac{1}{n} \sum_{i = 1}^{n} ε_{i})$

$\frac{1}{n} \sum_{i = 1}^{n} y_{i} = \bar{y}$ ， $\frac{1}{n} \sum_{i = 1}^{n} x_{i} = \bar{x}$ ， $\frac{1}{n} \sum_{i = 1}^{n} ε_{i} = \bar{ε}$ とおくと(8)が得られる．

(7)，(8)を(6)に代入する．

${\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + ε_{i} - β_{0} - β_{1} \bar{x} - \bar{ε})}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}$

$= \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) \{β_{1} (x_{i} - \bar{x}) + ε_{i} - \bar{ε}\}}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}$

$= \frac{β_{1} \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2} + \sum_{i = 1}^{n} (x_{i} - \bar{x}) (ε_{i} - \bar{ε})}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}$

$= β_{1} + \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) (ε_{i} - \bar{ε})}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}$

$\sum_{i = 1}^{n} (x_{i} - \bar{x}) (ε_{i} - \bar{ε})$ $= \sum_{i = 1}^{n} (x_{i} - \bar{x}) ε_{i} - \bar{ε} \sum_{i = 1}^{n} (x_{i} - \bar{x})$

$\sum_{i = 1}^{n} (x_{i} - \bar{x}) = \sum_{i = 1}^{n} x_{i} - \sum_{i = 1}^{n} \bar{x}$ $= n (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) - n \bar{x}$ $= n \bar{x} - n \bar{x} = 0$ より

$= \sum_{i = 1}^{n} (x_{i} - \bar{x}) ε_{i}$

$= β_{1} + \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) ε_{i}}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}$ ･･････(9)

次に，(8)，(9)を(5)に代入する

${\hat{β}}_{0} = β_{0} + β_{1} \bar{x} + \bar{ε} - \{β_{1} + \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) ε_{i}}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}\} \bar{x}$

$= β_{0} + \frac{1}{n} \sum_{i = 1}^{n} ε_{i} - \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) \bar{x} ε_{i}}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}$

$= β_{0} + \sum_{i = 1}^{n} \{\frac{1}{n} - \frac{(x_{i} - \bar{x}) \bar{x}}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}\} ε_{i}$ ･･････(10)

(9)，(10)を用いて， $E ({\hat{β}}_{0})$ ， $E ({\hat{β}}_{1})$ をこのように計算すると

$E ({\hat{β}}_{0}) = β_{0}$ ･･････(11)

$E ({\hat{β}}_{1}) = β_{1}$ ･･････(12)

$V ({\hat{β}}_{0})$ ， $V ({\hat{β}}_{1})$ をこのように計算すると

$V ({\hat{β}}_{1}) = \frac{σ^{2}}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}$ ･･････(13)

$V ({\hat{β}}_{0}) = \frac{σ^{2} \sum_{i = 1}^{n} x_{i}^{2}}{n \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}}$ ･･････(14)

正規分布の性質より， $ε_{i}$ が正規分布に従うことより， ${\hat{β}}_{0}$ ， ${\hat{β}}_{1}$ も正規分布に従う．

(11)，(14)より

${\hat{β}}_{0} \sim N (β_{0}, \frac{σ^{2} \sum_{i = 1}^{n} x_{i}^{2}}{n \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}})$

(12)，(13)より

${\hat{β}}_{1} \sim N (β_{1}, \frac{σ^{2}}{\sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}})$

となる．

ホーム>>カテゴリー分類>>確率>>統計>>回帰係数の確率分布1(線形単回帰)

　最終更新日： 2026年7月22日