ill-identified diary

片田舎で無職として活躍するデータサイエンティストのブログです。所属組織の見解などとは一切関係なく小難しい話ばかりしてるので人気がありません。

そもそも正規分布はどんな事象の確率分布を表しているのか

この記事は最終更新日から3年以上が経過しています



概要

正規分布は統計学で重要な存在だが,「正規分布が何を意味しているのか」という話は, ほとんどの教科書に書いていない. 統計学や機械学習の教科書の多くでは, 序盤のほうで「誤差項を正規分布とする」などと, 理由を示さずに線形回帰モデルを導入している. 教科書以外に目を向けると, 「テストの点数」とか「身長」とかが正規分布だという者もいる. 本当だろうか, なぜテストの点数や身長が同じ分布でなければならないのか, なぜ正規分布が適切なのか, といったことを疑問に感じたことはないだろうか.

あまり分かってない人向けに一言で言うと「正規分布は観測誤差の発生確率という現実の現象を表すために作られた」という話をする.

いろいろ分かってる人向けに一言で言うと「ガウスの誤差関数の導出過程から正規分布が何を意味しているのかを説明する」ということになる. 古典的な話題なので, 少し古い教科書を当たればもっとうまい説明が見つかりそうな気がするが, 今は過去の文献を余り調べずに書いた.


はじめに

例えば二項分布とポアソン分布とはどんな分布かと聞かれたら, それぞれ「複数回コイントスしたときに表が何回出るかを表す確率分布」と, 「プロイセン軍の兵士が馬に蹴られて死ぬ確率」という有名な具体例を提示している. 後者で納得できるのかは知らないが…. 場合の数を高校数学で習うから, その知識から二項分布への接続がしやすいというのもあるだろうが, このように離散分布の多くは, どういう現象を表現しようとしているのかがわかりやすい一方で, 正規分布は頻繁に使われる確率分布でありながら, こういった説明があまり見つからない. 具体例は何かとか, なぜ「釣鐘型」になるのか, と訊かれてすぐに言えるだろうか. 例えば Claude に直感的な説明をしろと言ったら, 「小さな偶然を多数足し合わせたときに必ず現れる釣鐘形。原因の詳細を忘れる分布」などと言われた. さて, みなさんはこの文を見て, 正規分布とはそういうものなのか, と納得できるだろうか. 統計学や機械学習の教科書の多くでは, 「誤差項を正規分布とする」などと, 理由を示さず書いている.

理由を書いていないだけならまだ良くて, 「正規分布は中心極限定理から導かれる」のような, 完全に逆転した無理のある説明をする人も見られる. 例えば任意の分布から特性関数を導出できたとして, その特性関数が, 正規分布なのは自明なのだろうか? 1

あるいは, 「テストの点数が正規分布になる」「身長が正規分布になる」などと紹介する人もいる. 本当なのだろうか.2 テストの点数と身長が, どういうメカニズムで正規分布になるのか, あるいはこの2者がなぜ同じ正規分布に従っているのか, 納得の行く説明を聞いたことがあるだろうか.

ここでいう納得の行く説明というのは, 数学的に厳密に説明するという意味ではない. 線形回帰モデルで誤差項を正規分布とするといろいろと便利な性質があることは数学的に証明できるし, 「一定の条件を満たす確率変数の和は正規分布に収束する (中心極限定理)」といった言明も正規分布の性質に関する数学的な説明として正しいが, これらが「正規分布が何を意味するのか」という疑問に対して, 納得できる説明となるだろうか. 納得する基準というのはきっと人によって違うから, これ以降の私の文章で全員が納得できるかはわからない. だがいずれにせよ, ここでのモチベーションは, 正規分布への理解を, 純粋に数学的な記述以外の観点からひらめきを与えられないか, というものである.


誤差関数と正規分布

とは言っても, 数学を軽視するつもりはない. 数学は曖昧さを廃するために優れた道具になる. 問題の原因は, 正規分布が抽象的で, 一見すると現実の現象を表現しているように見えないことだ. しかし, 実は正規分布も具体的な現象を表現しようとして導出されたものである.

19世紀初頭にカール゠フリードリヒ゠ガウスは誤差関数 (error function) と呼ばれる関数を考案した. 誤差関数とは, 以下で定義される関数である.3


 
\begin{align}
\phi(x):=&\frac{2}{\sqrt{\pi}} \int_0^x \exp(-z^2)dz
\end{align}

そして, 正規分布の確率密度関数は, 以下のように定義されている.


 
\begin{align}
\psi(x):=&\frac1{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2} \right)
\end{align}

正規分布の平均・分散パラメータが  \mu=0,  \sigma = 1/\sqrt{2} の場合を考える. 確率密度関数は  \psi(x) は\frac1{\sqrt{\pi}}\exp(-x^2) となる. 関数 \psi は偶関数だから, 定積分  \int_{-x}^{x}\psi(z)dz を変形すれば誤差関数  \phi(x) と同じになる. よって誤差関数とは, 平均ゼロ, 分散  1/2 の正規分布の (累積) 確率と同じだとわかる. つまり, ガウスの考案した誤差関数は実質的に正規分布と同じである.

標準正規分布と誤差関数


誤差関数の導出過程を追う

では, ガウスはこの誤差関数をどのようにして導いたのか. 1809年と1821年に発表された論文で, 彼は天体観測をする際の観測値と, 計算された理論上の位置との間に生じる誤差の分布として記述している. 当時はまだ確率の公理や現代のような統計学の理論は整備されていなかったので, 原文での記述は多少異なるが, 現代的な解釈に沿って書けば, 次のようになる.4

ガウスは正規分布を導出するにあたって, 観測に発生する誤差を特徴づけた. ただし, 以下はそのまま引用したものではなく, 私が部分的に整理したものであるが, それでも依然として数学的な意味での仮定としては, 曖昧さが残っている.

  1. 誤差  x は, ゼロを中心として±の方向に発生し, 発生確率は対称的である
    • つまり,  P(x) = P(-x) である.
    • 例えば, +1 の誤差と -1 の誤差は同程度に発生しうる
  2. 大きな誤差より小さな誤差のほうが生じやすい
    •  x=0, つまりゼロ誤差の確率が最大となる
    •  P(x) は  x の凹関数となる
  3. 完全に正確でなくとも, 観測は全て同程度に信頼でき, 1つ1つの誤差は小さく, 大きな誤差は発生しない.
    • この仮定は, 現代で言う, 独立かつ同一の分布に従うという仮定を含んでいる
  4. パラメータの最も適切な推定値は, パラメータ以外の値を全て固定した時に確率の最大値を取る
    •  \bar{x}= \arg \max_{X=x} P(X)
  5. 標本平均は適切な推定値か, あるいはそれに近い

まず,  N 個の理論値と観測値の差を  r_i := y_i - \hat{y}_i, i=1,\cdots,N と表記する.  y_i は観測値で,  \hat{y}_i は理論値である. 誤差関数はもともと, 軌道計算の際の誤差を理論化するために考案したものである. よって, 理論に基づいて計算された軌道と, 実際に観測した値である.5

この差  r_i は理論値と実際の値の差, つまり観測誤差といえるため, その確率は上記の (1, 2) を満たすと仮定する. 1つ1つの事象が独立したもので, その確率密度を  \phi(r) であると仮定する. すると,  N 個の観測点の同時確率は  \Omega:= \prod_{i=1}^N \phi(r_i) となる. さらに, 単純化のために, 理論値が全てに対して等しい値  \mu であるとすると,  r_i = y_i - \mu となる. つまりここで, 母数  \mu を推定する統計推測の問題に置き換わった. 今, 母数のとりうる全ての値が, 各観測に対して「同程度に確からしい」と仮定すれば, 観測の同時確率  \Omega が最大になるような母数が最も適切な値である. つまりこれは, 最尤推定を意味ししており, 1階条件 (スコア方程式),  \partial \Omega / \partial \mu = 0 を満たす  \mu を求める必要がある. ただしここでは, 計算を簡単にするため対数尤度を最大にする条件を導出する6


 
\begin{align}
\ln \Omega =& \sum_{i=1}^{N} \ln \phi(x_i - \mu),\\
0 =& \frac{\partial \ln \Omega}{\partial \mu}\\
0 =& \sum_{i=1}^N \frac{\phi_\mu(x_i - \mu)}{\phi(x_i - \mu)}
\end{align}

ここで,  \phi_{\mu}(r) = \partial \phi(r)/\partial \mu である.  \phi の形状がわからないままではこれは解けない. しかしながら, ここで直観に基づいて標本平均  \bar{x} := N^{-1}\sum_{i=1}^N x_i を推定量として使うことを考える. この推定量が最良であることを, ガウスは厳密な証明を与えていない.7 しかし,  \phi が正規分布だと分かっていれば, 標本平均は最尤推定量になることを, 現代の我々は知っている. ここで,  \varphi(z):= \phi_\mu(z)/\phi(z) とおくと,  \sum_i \varphi(x_i -\mu) = 0 になる. さらに, ある  \nu を使って  x_2=x_3=x_4 = \cdots = x_N= x_1 - N\nu とおくと, 標本平均を以下のように変形できる.8


 
\begin{align}
\bar{x} =& \frac{x_1 + \sum_{i=1}^{N-1}(x_1 - N\nu)}{N}\\
 =& \frac{x_1 + (N-1)(x_1-N\nu)}{N}\\
 =& \frac{Nx_1 + (N-1) N\nu}{N}\\
 =& x_1 - (N-1)\nu
\end{align}

これらをスコア方程式に代入すると, 以下のようになる.


 
\begin{align}
0 =& \varphi(x_1 - [x_1 - (N-1)\nu]) + \varphi([x_1 - N\nu] - [x_1 - (N-1)\nu]) + \cdots\\
0 =& \varphi((N-1)\nu) + \varphi(-\nu) + \varphi(-\nu) \cdots\\
0 =& \varphi((N-1)\nu) + (N-1)\varphi(-\nu)
\end{align}

さらに,  \phi が対称であるという当初の仮定から,  \phi_\mu は偶関数である. よって,  \phi_\mu(r)/\phi(r) = - \phi_\mu(-r)/\phi(-r) となるので,  \varphi(r) = -\varphi(-r) もまた成り立つ. よって, これを上記の方程式の第2項に代入すると,


 
\begin{align}
\varphi((N-1)\nu) -& (N-1) \varphi(\nu) = 0\\
\varphi((N-1)\nu) = & (N-1) \varphi(\nu)
\end{align}

定数  k に対して関数  f が  f(kx) = kf(x) であるとき,  f(x)/x は定数関数でなければならない. よって, ある定数  k に対して  \varphi(r)/r = k と書ける. 元の  \phi に戻せば, 線形微分方程式  \phi_\mu (r) /\phi(r) = kr が現れる. これを解けば,  \phi(r) を以下のように導出できる.


 
\begin{align}
\ln \phi(r) =& \frac1{2} kr^2 + c \\
\phi(r) =& \kappa \exp\left(\frac{k}{2} r^2 \right)
\end{align}

ここで,  \kappa は積分定数  c に対して  c:=\ln \kappa で与えられる.

すると,  \phi(r) が確率として適切なものであるには,  k/2< 0 が必要条件になる. そこで  k/2=-h^2 とおくと, これ以前にラプラスが示した  \int^\infty_{-\infty} \exp(-h^2r^2)dr = \sqrt{\pi}/h を利用できる.9 よって, 以下の確率密度関数が現れる.


 
\begin{align}
\phi (r) =& \frac{h}{\sqrt{\pi}} \exp\left(-h^2 r^2 \right)
\end{align}

最後に残った  h を, ガウスは観測の精密さを表す尺度になるとしている. 実際この  h は, 標準偏差を単純変換したものに過ぎず,  h = 1/(\sigma \sqrt{2}) とおけば, 以下のように平均がゼロで分散が  \sigma^2 の正規分布と同じ式になる.


 
\begin{align}
\phi (r) =& \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{r^2}{2\sigma^2} \right)
\end{align}

ガウスの元の仮定で期待値をゼロにしていたから, あとは平均パラメータを追加すれば正規分布の確率密度関数と完全に同じになり, そして平均パラメータを追加しても数学的な矛盾は生じない.


結論

以上が, ガウスの論文に則した正規分布の導出過程である. このように, 正規分布の式はどこからともなく現れたものではなく, 一定の条件の元で繰り返し観測した場合に発生する観測誤差という, 具体的な現象を表そうとして得られたものだとわかる. この意図の詳細を改めて確認する. 4つ+1の仮定と, 途中に現れた標本平均に関する言明を再掲する.

  1. 誤差  x は, ゼロを中心として±の方向に発生し, 発生確率は対称的である
    • つまり,  P(x) = P(-x) である.
    • 例えば, +1 の誤差と -1 の誤差は同程度に発生しうる
  2. 大きな誤差より小さな誤差のほうが生じやすい
    •  x=0, つまりゼロ誤差の確率が最大となる
    •  P(x) は  x の凹関数となる
  3. 完全に正確でなくとも, 観測は全て同程度に信頼でき, 1つ1つの誤差は小さく, 大きな誤差は発生しない.
    • この仮定は, 現代で言う, 独立かつ同一の分布に従うという仮定を含んでいる
  4. パラメータの最も適切な推定値は, パラメータ以外の値を全て固定した時に確率の最大値を取る
    •  \bar{x}= \arg \max_{X=x} P(X)
  5. 標本平均は適切な推定値か, あるいはそれに近い

仮定 (1, 2) は単純な言明であり, (3) は, 現在の統計学で言う, 分布が独立かつ同一であることに相当する. 仮定 (4) は尤度最大化の原理を使用していることを意味する. さらに, これは, 同一の分布からの観測を何度も繰り返した時に, 微小でランダムな誤差が現れるせいで観測値に揺らぎが現れる状況とみなせる. 最後に,  \phi の形が自明でない場合, 標本平均が最適であることは自明でないが, 正規分布の場合は最尤推定量となることは現代の我々であれば知っている. そして, 結果として標本平均の性質は, 正規分布の導出に必要であった.

以上から, 正規分布とは, 何かを繰り返し観測した際に現れる, 期待値のまわりに現れる微小なランダムな誤差を表現している確率分布である. しかしこれらにはいくつか重要な前提がある. ランダムな観測誤差とは, 例えば一様分布のように +1 と -100 の誤差が同程度の確率で発生するものでもなく, できる限り正確に観測しようと努力しており, 大きな誤差ほどより発生しにくく, そしてプラスかマイナスのどちらかに偏ったものでもない, という場面に限定している. そして, 「観測」という操作は, 実際には数式に対してほとんど制約を与えていないため, 実際には「観測」以外の様々な, 上記のような仮定をあてはめられる現象でも正規分布は現れうる. 具体的な操作を想定していながら, 最低限の仮定だけで成り立っていることが, 正規分布が広く利用できる理由ということだろう.

逆に言えば, いかに正規分布が優れていても, こういった状況にそぐわないやり方で観測されたデータに対しては, 正規分布を使っても適切な統計推論ができない可能性があるということだ. 線形回帰モデルの延長線上で言えば, GLM や GEE などがそれであろうし, 標本平均が存在すると仮定されていることに着目すれば, 裾野が広すぎて平均が発散するような分布 (そう, あの分布のことだ) に当てはめるのは適切ではない.

これで,「身長」とか「テストの点数」といった現象を正規分布と紐付けた説明をどう考えればよいかがわかってくる. これらは身長やテストの点数そのものではなく, 点数や身長の平均からのばらつきが正規分布になる, と言い換えれば, ここまでの正規分布に関する性質と矛盾しない. しかしながら, 身長やテストの点数は通常正の値であり, マイナスにはならない. さらにテストの点数は100など厳密な上限があるので, ここまでに出てきた正規分布の仮定とは, 明らかに異なっている. 仮定 (2) の, 「大きな誤差が発生する確率は十分小さい」という仮定を利用して, 分散が十分小さい正規分布を近似として使う余地はあるが, 正規分布がテストの点数の分布そのものを表現していないのは明らかだ. テストの点数の分布は問題の難易度と受験者の実力の差によって決まり, 身長は栄養状態とか遺伝的要因とかで決まるものだろう. それに正規分布をあてはめたことをもって 「原理的にテストの点数や身長が正規分布に従う」と解釈するのと,「テストの点数や身長に正規分布が当てはまる」と解釈するのでは, 統計学的な意味で大きな隔たりがある. この違いを理解しなければ, 統計推論の考え方を理解できたとは言えない.10 点数の分布に正規分布を当てはめて分析することもできるし, 勉強時間とか, なにか別の変数を追加して回帰分析をすることで, 点数を説明できる要因と, それ以外の正規分布に近似できるランダムな誤差に分解することもできるのが統計学である.

追記: 物理学の一部の分野では誤差関数が現れることがあるらしいが, 私は詳しくないのでその説明はしない. 誰か詳しい人に期待しよう.


参考文献



カール・F.・ガウス (1981) 『誤差論』. 飛田武幸・石川耕春訳. 紀伊國屋書店.

野本隆宏 (?) “ガウス分布の導出” URL.

陈曦 (2023) “How Did Gauss Derive the Normal Distribution” URL.

脚注

  1. もっとも, さすがにまともな教科書ではそういう記述は見かけない. どこかの誰かの書いたブログとかでたまに見かける程度だ. 統計学の教科書で, 中心極限定理から導出した分布を正規分布と定義しているものを見たことがない.↩︎

  2. 結論を先に言うと, 詳しくない人にとって, こういう言い回しはミスリードなので, 私はやめたほうがよいと思っている.↩︎

  3. ガウスの論文は, ガウス (1981) を基にした. また, 記号の用法が現代の教科書でよく見られるものとは異なるので, 現代的なものに改めて書いた.↩︎

  4. 野本 (?), 陈曦 (2023) なども, 細部で異なるが以降と似たような過程で導出する方法を述べている.↩︎

  5. ガウスの論文では, 軌道要素をパラメータとしたモデルによる理論値と, 赤緯の観測を念頭に置いている.↩︎

  6. 結果的に, ガウスはここで現代の最尤推定のような論を展開していた. しかし, 古い時代のことなので, その導出過程はややぎこちない. この過程にこだわることは正規分布の導出にはあまり関係ないため, ここでは現代的な対数尤度を使用した式変形を使用している.↩︎

  7. 仮定 (3) では, 大きな誤差が発生しないと書いた. つまりこれは, 期待値が発散するほど分布の裾野が厚く, 標本平均が意味をなさなくなるような状況を排除しているといえる.↩︎

  8. 不思議な式変形に見えるかもしれないが, これは標本平均が観測値列  x_1, \cdots, x_N に対して一次従属であることを利用している.↩︎

  9. ただし, この式は現在ではガウス積分と呼ばれている. また, アイディアの原型はド゠モアヴルにあるとされている.↩︎

  10. 「テストの点数が正規分布になる」という言い方は「『偏差値』とはテストの点数を正規分布で近似できるという前提で設計された指標」という説明を, 因果関係を逆転して誤解してしまっているのではないかという気がする.↩︎