標本回帰係数と母回帰係数との差と残差の独立性

標本回帰係数と母回帰係数との差と残差が互いに独立であることを以下の要領で証明する．

母集団から標本として， n 個の X ， Y のデータの組を表1のように抽出したとする．

表1
データNo. データ X
（説明変数） 		データ Y
（目的変数）
1 x 1 y 1
2 x 2 y 2
3 x 3 y 3
⋮ ⋮ ⋮
n x n y n

母集団の線形単回帰式を

y = β 0 + β 1 x   ･･････(1)

標本の線形単回帰式を

y = β ^ 0 + β ^ 1 x   ･･････(2)

とする．

誤差を ε i ，残差を e i とすると，(1)，(2)より

y i = β 0 + β 1 x i + ε i   ･･････(3)

y i = β ^ 0 + β ^ 1 x i + e i   ･･････(4)

の関係が得られる．

【前提条件】

誤差はランダムに生じ，平均 0 の正規分布に従うと仮定する．式で表すと以下のようになる．

  1. ε i ∼ N 0 , σ 2 ：誤差は正規分布に従い，その平均は 0 （ E ε i = 0 ）， その分散は σ 2 （ E ε i 2 = V ε i = σ 2 ），である．
  2. i ≠ j のとき， ε i と ε j は互いに独立である（独立ならば無相関であるから， i ≠ j のとき共分散 Cov ε i , ε j = 0 である（ここを参照））．

以下のようなベクトルを定義すると

y = y 1 y 2 ⋮ y n   ･･･(5) ， X = 1 x 1 1 x 2 ⋮ ⋮ 1 x n   ･･･(6)， β ^ = β ^ 0 β ^ 1   ･･･(7) ， β = β 0 β 1   ･･･(8) ， e = e 1 e 2 ⋮ e n   ･･･(9) ， ε = ε 1 ε 2 ⋮ ε n   ･･･(10)

以下のような式が得られる（線形重回帰分析における残差平方和の期待値のページを参照）．

y = X β + ε   ･･････(11)

β ^ = X t X − 1 X t y   ･･････(12)

e = I − X X t X − 1 X t y   ･･････(13)

(12)に(11)を代入する．

β ^ = X t X − 1 X t X β + ε

= X t X − 1 X t X β + X t X − 1 X t ε

= I β + X t X − 1 X t ε

= β + X t X − 1 X t ε

β ^ − β = X t X − 1 X t ε   ･･････(14)

(13)に(11)を代入する．

e = I − X X t X − 1 X t X β + ε

= I X β + ε − X X t X − 1 X t X β + ε

= X β + ε − X X t X − 1 X t X β − X X t X − 1 X t ε

= X β + ε − X I β − X X t X − 1 X t ε

= X β + ε − X β − X X t X − 1 X t ε

= ε − X X t X − 1 X t ε

= I − X X t X − 1 X t ε   ･･････(15)

前提条件(i)，(ii)より，独立な正規変数を成分にもつ ε は多変量正規分布 N 0 , σ 2 I に従う（正規ベクトル）．(14)，(15)より

β ^ − β e = X t X X t I − X X t X X t ε   ･･････(16)

備考： X t X X t は 2 × n 行列， I − X X t X X t は n × n 行列，よって，ブロック行列 X t X X t I − X X t X X t は n + 2 × n 行列になる．

が成り立ち，結合ベクトル β ^ − β e が同時に正規分布に従う．

標本回帰係数と母回帰係数との差と残差が互いに独立であることを証明するためには，結合ベクトル β ^ − β e が同時に正規分布に従うことより ， Cov β ^ − β , e = 0 であることが確認できればよい．

Cov β ^ − β , e = Cov X t X − 1 X t ε , I − X X t X − 1 X t ε

Cov A u , B v = A Cov u , v B t より

= X t X − 1 X t Cov ε , ε I − X X t X − 1 X t t

前提条件(i)，(ii)より Cov ε , ε = σ 2 I となる．よって

= X t X − 1 X t σ 2 I I − X X t X − 1 X t t

= σ 2 X t X − 1 X t I − X X t X − 1 X t t

= σ 2 X t X − 1 X t I t − X X t X − 1 X t t

= σ 2 X t X − 1 X t I t − X t X − 1 X t X X t X − 1 X t t

( A B ) t = B t A t の関係を用いると

= σ 2 X t X − 1 X t I − X t X − 1 X t X X X t X − 1 t

= σ 2 X t X − 1 X t − I X X t X − 1 t

= σ 2 X t X − 1 X t − X X t X − 1 t

= σ 2 X t X − 1 X t − X t X − 1 t X t

転置行列の逆行列の性質より

= σ 2 X t X − 1 X t − X t X t − 1 X t

= σ 2 X t X − 1 X t − X t X − 1 X t

= σ 2 0

= 0

以上より，結合ベクトル β ^ − β e が同時に正規分布に従い，かつ， Cov β ^ − β , e = 0 であることから，両者は互いに独立である． すなわち，標本回帰係数と母回帰係数との差と残差は互いに独立である．

 

ホーム>>カテゴリー分類>>確率>>統計>>標本回帰係数と誤差の独立性

　最終更新日： 2026年7月22日