回帰係数の確率分布2(線形単回帰)

線形単回帰によって得られる標本回帰式 ${\displaystyle \widehat{y}={\widehat{\beta }}_0+{\widehat{\beta }}_{1}x}$ の係数 ${\displaystyle {\widehat{\beta }}_0}$ ， ${\displaystyle {\widehat{\beta }}_1}$ は，標本ごとに値が変わる． したがって， ${\displaystyle {\widehat{\beta }}_0}$ ， ${\displaystyle {\widehat{\beta }}_1}$ は確率変数である．

誤差 ${\displaystyle \epsilon }$ が正規分布に従うと仮定すると， これらの推定量から真の係数を引き，それぞれの標準偏差をその推定量で置き換えて標準化した統計量

${\displaystyle t_0=\frac{{\widehat{\beta }}_0-{\beta }_0}{\text{SE}\left({\widehat{\beta }}_0\right)}}$   ･･････(1)

ただし， ${\displaystyle \text{SE}\left({\widehat{\beta }}_0\right)}$ ： ${\displaystyle {\widehat{\beta }}_0}$ の標準誤差(Standard Error)

${\displaystyle t_1=\frac{{\widehat{\beta }}_1-{\beta }_1}{\text{SE}\left({\widehat{\beta }}_1\right)}}$   ･･････(2)

ただし， ${\displaystyle \text{SE}\left({\widehat{\beta }}_1\right)}$ ： ${\displaystyle {\widehat{\beta }}_1}$ の標準誤差(Standard Error)

は，それぞれ自由度 $n-2$ の $t$ 分布に従う．

■(1)，(2)の導出

回帰係数の確率分布(線形単回帰)より

${\displaystyle {\widehat{\beta }}_0\sim N\left({\beta }_0,\frac{{\sigma }^2\sum _{i=1}^n{x}_i^2}{n\sum _{i=1}^n{\left(x_i-\overline{x}\right)}^2}\right)}$   ･･････(3)

${\displaystyle E\left({\widehat{\beta }}_0\right)={\beta }_0}$   ･･････(4)

${\displaystyle V\left({\widehat{\beta }}_0\right)=\frac{{\sigma }^2\sum _{i=1}^n{x}_i^2}{n\sum _{i=1}^n{\left(x_i-\overline{x}\right)}^2}}$   ･･････(5)

${\displaystyle {\widehat{\beta }}_1\sim N\left({\beta }_1,\frac{{\sigma }^2}{{\sum }_{i=1}^n{\left(x_i-\overline{x}\right)}^2}\right)}$   ･･････(6)

${\displaystyle E\left({\widehat{\beta }}_1\right)={\beta }_1}$   ･･････(7)

${\displaystyle V\left({\widehat{\beta }}_1\right)=\frac{{\sigma }^2}{\sum _{i=1}^n{\left(x_i-\overline{x}\right)}^2}}$   ･･････(8)

誤差の分散の不偏推定量より

${\displaystyle E\left(\frac{S_{SE}}{n-2}\right)={\sigma }^2}$   ･･････(9)

となる．

(9)より ${\sigma }^2$ の不偏推定量は ${\displaystyle \frac{S_{SE}}{n-2}}$ である．これより， ${\displaystyle {\widehat{\beta }}_0}$ の分散 ${\displaystyle \frac{{\sigma }^2\sum _{i=1}^n{x}_i^2}{n\sum _{i=1}^n{\left(x_i-\overline{x}\right)}^2}}$ の不偏推定量は

${\displaystyle \frac{\frac{S_{SE}}{n-2}\sum _{i=1}^n{x}_i^2}{n\sum _{i=1}^n{\left(x_i-\overline{x}\right)}^2}}$${\displaystyle =\frac{S_{SE}\sum _{i=1}^n{x}_i^2}{n\left(n-2\right)\sum _{i=1}^n{\left(x_i-\overline{x}\right)}^2}}$   ･･････(10)

となる．この不偏推定量の平方根は ${\displaystyle {\widehat{\beta }}_0}$ の標準誤差(Standard Error)と言われ ${\displaystyle \text{SE}\left({\widehat{\beta }}_0\right)}$ で表される．

${\displaystyle \text{SE}\left({\widehat{\beta }}_0\right)=\sqrt{\frac{S_{SE}\sum _{i=1}^n{x}_i^2}{n\left(n-2\right)\sum _{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}$   ･･････(11)

(4)と(11)より

${\displaystyle t_0=\frac{{\widehat{\beta }}_0-{\beta }_0}{\text{SE}\left({\widehat{\beta }}_0\right)}}$

で表される．

同様に， ${\displaystyle {\widehat{\beta }}_1}$ の分散 ${\displaystyle \frac{{\sigma }^2}{{\sum }_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}$ の不偏推定量は

${\displaystyle \frac{\frac{S_{SE}}{n-2}}{{\sum }_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}$ ${\displaystyle =\frac{S_{SE}}{\left(n-2\right){\sum }_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}$   ･･････(12)

となる．この不偏推定量の平方根は ${\displaystyle {\widehat{\beta }}_1}$ の標準誤差(Standard Error)と言われ ${\displaystyle \text{SE}\left({\widehat{\beta }}_1\right)}$ で表される．

${\displaystyle \text{SE}\left({\widehat{\beta }}_1\right)}$ ${\displaystyle =\sqrt{\frac{S_{SE}}{\left(n-2\right){\sum }_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}$   ･･････(13)

(7)と(13)より

${\displaystyle t_1=\frac{{\widehat{\beta }}_1-{\beta }_1}{\text{SE}\left({\widehat{\beta }}_1\right)}}$

で表される．

● $t_0$ の分布について

${\displaystyle t_0=\frac{{\widehat{\beta }}_0-{\beta }_0}{\text{SE}\left({\widehat{\beta }}_0\right)}}$ を以下のように式変形する．

${\displaystyle t_0=\frac{{\widehat{\beta }}_0-{\beta }_0}{\text{SE}\left({\widehat{\beta }}_0\right)}}$ ${\displaystyle =\frac{{\widehat{\beta }}_0-{\beta }_0}{\sqrt{\frac{{\sigma }^2{{\displaystyle \sum }}_{i=1}^n{x}_i^2}{n{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}\cdot \frac{\sqrt{\frac{{\sigma }^2{{\displaystyle \sum }}_{i=1}^n{x}_i^2}{n{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}{\text{SE}\left({\widehat{\beta }}_0\right)}}$   ･･････(14)

${\displaystyle \frac{{\widehat{\beta }}_0-{\beta }_0}{\sqrt{\frac{{\sigma }^2{{\displaystyle \sum }}_{i=1}^n{x}_i^2}{n{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}}$ は(3)の正規分布を標準化したものであるので， $N\left(0,1\right)$ に従う．  ･･････(A)

(14)に(11)を代入する．

${\displaystyle =\frac{{\widehat{\beta }}_0-{\beta }_0}{\sqrt{\frac{{\sigma }^2{{\displaystyle \sum }}_{i=1}^n{x}_i^2}{n{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}\cdot \frac{\sqrt{\frac{{\sigma }^2{{\displaystyle \sum }}_{i=1}^n{x}_i^2}{n{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}{\sqrt{\frac{S_{SE}{{\displaystyle \sum }}_{i=1}^n{x}_i^2}{n\left(n-2\right){{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}}$

${\displaystyle =\frac{{\widehat{\beta }}_0-{\beta }_0}{\sqrt{\frac{{\sigma }^2{{\displaystyle \sum }}_{i=1}^n{x}_i^2}{n{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}\cdot \frac{1}{\sqrt{\frac{\frac{S_{SE}}{{\sigma }^2}}{n-2}}}}$

${\displaystyle \frac{S_{SE}}{{\sigma }^2}}$ は自由度 $n-2$ の ${\chi }^2$ 分布に従うことが分かっている（ここを参照）．  ･･････(B)

${\displaystyle \frac{{\widehat{\beta }}_0-{\beta }_0}{\sqrt{\frac{{\sigma }^2{{\displaystyle \sum }}_{i=1}^n{x}_i^2}{n{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}=Z_0}$ ， ${\displaystyle \frac{S_{SE}}{{\sigma }^2}=W}$ とおくと

${\displaystyle =\frac{Z_0}{\sqrt{\frac{W}{n-2}}}}$

$Z_0$ は(A)より $N\left(0,1\right)$ に従う．

$W$ は(B)より自由度 $n-2$ の ${\chi }^2$ 分布に従う．

そして，標本回帰係数と母回帰係数との差と残差が互いに独立より， $Z_0$ と $W$ は互いに独立である．

以上より， $t_0$ は自由度 $n-2$ の $t$ 分布に従う．

● $t_1$ の分布について

${\displaystyle t_1=\frac{{\widehat{\beta }}_1-{\beta }_1}{\text{SE}\left({\widehat{\beta }}_1\right)}}$ を以下のように式変形する．

${\displaystyle t_1=\frac{{\widehat{\beta }}_1-{\beta }_1}{\text{SE}\left({\widehat{\beta }}_1\right)}}$ ${\displaystyle =\frac{{\widehat{\beta }}_1-{\beta }_1}{\sqrt{\frac{{\sigma }^2}{{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}\cdot \frac{\sqrt{\frac{{\sigma }^2}{{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}{\text{SE}\left({\widehat{\beta }}_1\right)}}$   ･･････(15)

${\displaystyle \frac{{\widehat{\beta }}_1-{\beta }_1}{\sqrt{\frac{{\sigma }^2}{{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}}$ は(6)の正規分布を標準化したものであるので， $N\left(0,1\right)$ に従う．  ･･････(C)

(15)に(13)を代入する．

${\displaystyle =\frac{{\widehat{\beta }}_1-{\beta }_1}{\sqrt{\frac{{\sigma }^2}{{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}\cdot \frac{\sqrt{\frac{{\sigma }^2}{{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}{\sqrt{\frac{S_{SE}}{\left(n-2\right){{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}}$

${\displaystyle =\frac{{\widehat{\beta }}_1-{\beta }_1}{\sqrt{\frac{{\sigma }^2}{{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}\cdot \frac{1}{\sqrt{\frac{\frac{S_{SE}}{{\sigma }^2}}{n-2}}}}$

${\displaystyle \frac{S_{SE}}{{\sigma }^2}}$ は自由度 $n-2$ の ${\chi }^2$ 分布に従うことが分かっている（ここを参照）．  ･･････(D)

${\displaystyle \frac{{\widehat{\beta }}_1-{\beta }_1}{\sqrt{\frac{{\sigma }^2}{{{\displaystyle \sum }}_{i=1}^n{\left(x_i-\overline{x}\right)}^2}}}=Z_1}$ ， ${\displaystyle \frac{S_{SE}}{{\sigma }^2}=W}$ とおくと

${\displaystyle =\frac{Z_1}{\sqrt{\frac{W}{n-2}}}}$

$Z_1$ は(C)より $N\left(0,1\right)$ に従う．

$W$ は(D)より自由度 $n-2$ の ${\chi }^2$ 分布に従う．

そして，標本回帰係数と母回帰係数との差と残差が互いに独立より， $Z_1$ と $W$ は互いに独立である．

以上より， $t_1$ は自由度 $n-2$ の $t$ 分布に従う．

 

ホーム>>カテゴリー分類>>確率>>統計>>回帰係数の確率分布2(線形単回帰)

　最終更新日： 2026年7月30日