最小二乗法と回帰直線

いちばんよく合う直線とは

勉強時間 x とテストの得点 y のデータが散布図に打たれている。右上がりの傾向はある——予測に使える直線 y ＝ ax ＋ b を引きたい。「よく合う」を数学の言葉にしよう。

各データ点での予測のずれ（残差）は yᵢ − (axᵢ ＋ b)。ずれの合計は正負で打ち消し合うから、2乗してたす（分散のときと同じ発想！）：

\[L(a, b) = \sum \{y_i - (ax_i + b)\}^2\]

このLを最小にする a、b を選ぶ——最小二乗法だ。

偏微分が直線を決める

L は a と b の2変数関数。最小点では ∂L/∂a ＝ 0、∂L/∂b ＝ 0（A7の停留点！）。この2本の連立一次方程式（正規方程式——L1の出番）を解くと——

\[a = \frac{x と y の共分散}{x の分散} \qquad b = \bar{y} - a\bar{x}\]

bの式を見ると、回帰直線は必ず平均点 (x̄, ȳ) を通る——雲の重心を貫く直線だ。そして傾き a の分子は共分散——相関係数（前々たんげん）の親戚。r が正なら直線も右上がり、r ＝ 0 なら傾き0。役者がぜんぶつながった。

例1 ：データ（1, 2）（2, 4）（3, 6）。完全に一直線上にある。x̄ ＝ 2、ȳ ＝ 4、共分散 ＝ ((−1)(−2) ＋ 0 ＋ (1)(2))/3 ＝ 4/3、xの分散 ＝ 2/3。a ＝ 2、b ＝ 4 − 4 ＝ 0——y ＝ 2x ✓ ずれゼロの完全再現。

例2 ：データ（1, 3）（2, 4）（3, 8）。x̄ ＝ 2、ȳ ＝ 5。共分散 ＝ ((−1)(−2) ＋ 0 ＋ (1)(3))/3 ＝ 5/3、xの分散 ＝ 2/3。a ＝ 5/2、b ＝ 0——回帰直線 y ＝ 2.5x。x ＝ 4 の予測は 10。

検算：平均点 (2, 5) を通るか。2.5 × 2 ＝ 5 ✓

r² — どれだけ説明できたか

回帰の性能は決定係数 r²（相関係数の2乗）で測る：「yのばらつきのうち、直線で説明できた割合」。r ＝ 0.9 なら r² ＝ 0.81——81%を直線が説明し、残り19%はほかの要因や偶然。r² ＝ 1 は完全な直線関係（例1）、r² ＝ 0 は直線ではまったく説明できない。

ここから機械学習へ

「モデル（直線）を仮定し、ずれの2乗和を損失関数として最小化する」——この設計図は、そのまま機械学習の骨格だ。直線を曲線やニューラルネットに替え、偏微分による最小化を勾配降下法（A7）で行えば、現代のAIになる。数学ハイウェイの終点は、次の高速道路の入り口につながっている。

そして忘れずに——回帰は相関の親戚であって、因果を証明しない（前々たんげんの教え）。「勉強時間が得点を上げる」と言い切るには、直線の先にもう一歩の検討がいる。道具の力と限界の両方を携えて、卒業だ。

よくあるまちがい

その1：ずれの「和」を最小化しようとする。 正負で打ち消して意味をなさない。2乗和——分散・標準偏差以来の「2乗の物差し」がここでも本質だ。

その2：回帰直線で外挿しすぎる。 例2で x ＝ 100 の予測 250 は信用できない——データの範囲（1〜3）のはるか外だ。モデルはデータが見た世界の中でだけ確かめられている。

れんしゅう

もっと れんしゅう

ボタンを おすと、あたらしい もんだいが でて くるよ。なんかいでも れんしゅう できるよ。

あたらしい もんだいを つくる