回帰直線ツールの使い方と学習内容

■このツールについて

散布図上の10個のデータ点に対して，「一番よく当てはまる直線」$y=ax+b$ を，勾配降下法を使って少しずつ調整しながら求めるインタラクティブな教材である． 直線を1本ずつ試すのではなく，傾き ${\displaystyle a}$ と切片 ${\displaystyle b}$ を毎回少しずつ更新していく様子と，誤差がどんどん小さくなっていく様子を同時に見ることができる．

アプリを開く

■使い方

各コントロールの役割

初期 $\mathit{a}$ / 初期 $\mathit{b}$ スライダー	「リセット」時に適用される，傾きと切片の出発値を設定する．
データ点 ($x$ , $y$ )	グラフ上でドラッグ，または表で数値入力してデータを編集できる．編集すると学習は自動的に最初からやり直すことになる．
1ステップ実行 / 5ステップ実行	勾配降下法の更新式を1回（または5回連続で）適用する．
自動実行 / 停止	${\displaystyle \Delta a}$ , ${\displaystyle \Delta b}$す．「停止」でいつでも中断できる．
リセット	a, b を初期値に戻し，繰り返し回数と誤差の推移グラフをクリアします．
現在の状態パネル	繰り返し回数，現在の $a$ ・$b$ ・誤差2乗和 $C$ ，勾配 ${\displaystyle \frac{\partial C}{\partial a}}$ ・${\displaystyle \frac{\partial C}{\partial b}}$ ，直前の更新量 ${\displaystyle \Delta a}$ ・${\displaystyle \Delta b}$ を表示する．

学習できる内容

① 最小二乗法とは何か

データ点にぴったり重なる直線は普通ない．そこで「各データ点と直線の縦方向のズレ（残差）を2乗して全部足したもの」を誤差として定義し，この誤差が一番小さくなるような直線を「最もよく当てはまる直線」とする考え方が最小二乗法である．

下の概念図は，5個の点と1本の直線，そして各点から直線までの縦方向の距離（点線）を示している．この点線の長さを2乗して合計したものが C である．

② 勾配（偏微分）の意味

${\displaystyle \frac{\partial C}{\partial a}}$ は「${\displaystyle a}$ を少しだけ増やしたとき，誤差2乗和 ${\displaystyle C}$ がどれくらい・どちら向きに変化するか」を表す．${\displaystyle b}$ についても同様である． この2つの勾配が，${\displaystyle a}$ と ${\displaystyle b}$ をそれぞれどちら向きに，どれくらい動かせば誤差2乗和が減るかを教えてくれる．

③ 更新式とステップ幅の正規化

${\displaystyle a}$ と ${\displaystyle b}$ はそれぞれ，勾配と逆方向（誤差が減る方向）に更新される．

④ データ点を動かすとどうなるか

グラフ上の点をドラッグして大きく動かす（＝外れ値を作る）と，直線がその点に引っ張られて傾きが変化する様子を確認できる．これは「2乗誤差」が，遠く離れた点のズレを特に大きく評価してしまう（誤差を2乗するため）という最小二乗法の性質を体験的に理解するのに役立つ．

⑤ 4次関数の例との違い：唯一の最適解に収束する

勾配降下法基礎 で扱った4次関数には，出発点によって行き着く先が変わる「極小値が複数ある」ケースがありました． 一方，この誤差関数 $C=\sum {\left\{y-\left(ax+b\right)\right\}}^2$ は ${\displaystyle a}$ , ${\displaystyle b}$ についてお椀のような単純な形（凸関数）をしているため，初期値をどこに設定しても，勾配降下法は必ず同じ唯一の最小値（最も当てはまりの良い直線）にたどり着く．初期値スライダーをいろいろ変えて「自動実行」を試し，最終的な ${\displaystyle a}$ , ${\displaystyle b}$ が毎回同じ値に収束することを確認してみてください．