ill-identified diary

所属組織の見解などとは一切関係なく小難しい話しかしません

[計量経済学] ロジスティック回帰の2通りの表現

この記事は最終更新日から3年以上が経過しています

2015/3/4 対数尤度関数の式が間違っていたので修正

概要

  • 潜在変数 (latent variable) モデルを用いた2値のロジスティック回帰 (ロジットモデル) の表現について説明する

  • 文章量はPDF換算で3ページ程度

久保本でのロジスティック回帰

その筋では結構有名になった 久保 (2012) (通称: 緑本) だが, この本ではロジスティック回帰を, 線形予測子をロジットリンク関数で変換したものとして解説している. 線形予測子を次のように定義する.

\begin{aligned}
y_{i}^{\ast}= & \alpha+\beta x_{i}+\gamma z_{i}\label{eq:linearpred}\end{aligned}

 x_{i}, z_{i} が説明変数で, \alpha, \beta, \gamma がパラメータ. ここで, 原典と記号の使い方が違うのは, これ以降の話で統一するためで, それ以外の意味はない. ロジスティック関数に当てはめると,

\begin{aligned}
q_{i}= & \mathrm{logistic}(y_{i}^{\ast})\\
= & \frac{1}{1+\exp(-y_{i}^{\ast})}\end{aligned}

となる. ロジスティック関数は,  (-\infty, \infty) の定義域に対してゼロ-1の値域への変換ができる. つまり, ロジスティック関数によって線型予測子を確率に変換していると言える. よって, q_iy_i=1 の確率を表している. そのため, y_i がとる値は二項分布になる. これをもとに尤度関数を作成すると,

\begin{aligned}
\mathcal{L}= & \prod_{i}\begin{pmatrix}N_{i}\\
y_{i}
\end{pmatrix}q_{i}^{y_{i}}(1-q_{i})^{N_{i}-y_{i}}\end{aligned}

となる. ただし, 今回は2値のロジスティック回帰のため,  y_{i} はゼロか1しかない場合だけを考える. N_{i} も1になるので, 二項分布よりも単純な, ベルヌーイ分布になるので, 尤度関数はもう少しシンプルに,

\begin{aligned}
\mathcal{L}= & \prod_{i}q_{i}^{y_{i}}(1-q_{i})^{1-y_{i}}\end{aligned}

と書ける. よって, 対数尤度関数は

\begin{aligned}
\ln\mathcal{L}= & \sum_{i}\left\{y_{i}\ln q_{i} + (1-y_{i})\ln(1-q_{i})\right\}.\end{aligned}

潜在変数モデルによる表現

一方で, 計量経済学においては, 2値のロジスティック回帰を説明する時, 多くの場合潜在変数モデルを用いて表現する. ロジットモデルの被説明変数 (アウトカム変数)  y_{i} は, 1 かゼロしか取らない離散数である. しかし, 線形予測子は必ずしも離散ではない. そこでこれを, 「実際には被説明変数は連続だが, これを観測できず, 本来の被説明変数の値をゼロか 1 のいずれか変換した変数しか観測できない」と考える. その真の被説明変数にあたるのが, 線形予測子 y_{i}^{\ast} である. y_{i}^{\ast} は, ゼロを境目に切り分けられ, y_{i} との関係は次のように表される.

\begin{aligned}
y_{i}= & \begin{cases}
1 & \text{if }y_{i}^{\ast}+\varepsilon_{i}\geq0\\
0 & \text{if }y_{i}^{\ast}+\varepsilon_{i}<0
\end{cases}\end{aligned}

ここで,  \varepsilon_{i} は誤差項で, 標準ロジスティック分布 (位置パラメータがゼロ, 尺度パラメータが1) にしたがうとする. ロジスティック分布の累積分布関数は,

\begin{aligned}
\Lambda(x) & =\frac{\exp(x)}{1+\exp(x)}\end{aligned}

である. 以上の設定から,  y_{i}=1 である確率*1は,

\begin{aligned}
\mathrm{P}(y_{i}=1)= & \mathrm{P}(y_{i}^{\ast}+\varepsilon_{i}\geq0)\\
\mathrm{P}(y_{i}^{\ast}+\varepsilon_{i}\geq0)= & \mathrm{P}(\varepsilon_{i}\geq-y_{i}^{\ast})\\
= & 1-\mathrm{P}(\varepsilon_{i}\leq-y_{i}^{\ast})\\
= & 1-\frac{\exp(-y_{i}^{\ast})}{1+\exp(-y_{i}^{\ast})}\\
= & \frac{1}{1+\exp(-y_{i}^{\ast})}\\
= & q_{i}\end{aligned}

同様に,  y_{i}=0 である確率は,

\begin{aligned}
\mathrm{P}(y_{i}=0)= & \mathrm{P}(y_{i}^{\ast}+\varepsilon_{i}<0)\\
\mathrm{P}(y_{i}^{\ast}+\varepsilon_{i}<0)= & \mathrm{P}(\varepsilon_{i}<-y_{i}^{\ast})\\
= & \frac{\exp(-y_{i}^{\ast})}{1+\exp(-y_{i}^{\ast})}\\
= & 1-q_{i}\end{aligned}

となり, 尤度関数は

\begin{aligned}
\mathcal{L}= & \prod_{i}q_{i}^{y_{i}}(1-q_{i})^{1-y_{i}}\end{aligned}

となるから, 潜在変数モデルによる説明は, 久保本による2値ロジスティック回帰の尤度関数と全く等価であることが分かる. また, 確率分布を標準正規分布に変えれば, プロビットモデルとなる.

なぜ, このような表現をするのかというと, おそらく, 効用関数の概念を類推しやすいからではないか, と考える. つまり, 効用  y_{i}^{\ast} が一定以上高ければ, 実際の行動 y_{i}=1 として現れ, 逆にその行動を取る効用 y_{i}^{\ast} が小さければ, y_{i}=0 という行動, 言い換えるなら「行動をしない」 という選択に現れる. そして, その効用を決定する要素が説明変数である. ある商品を買う (y_{\text{i }}=1) か買わない (y_{i}=0) を決めるのは, その商品の価格や品質, あるいは消費者の好みで決まると考えると, これらが説明変数に対応する. また, 潜在変数モデルの考え方は多項選択モデルへ拡張することもできる. ロジットモデルについて詳しくは, 浅野・中村 (2009) を, 多項選択の話は 以前書いた「[離散選択] 非集計データの購買行動」 [離散選択] 非集計データの購買行動 - ill-identified diary もしくは Wooldridge (2010) を参照.


Wooldridge, Jeffrey M. 2010. Econometric Analysis of Cross Section and Panel Data. 2nd ed. The MIT Press.

Econometric Analysis of Cross Section and Panel Data (The MIT Press)

Econometric Analysis of Cross Section and Panel Data (The MIT Press)

  • 作者:Jeffrey M. Wooldridge
  • 出版社/メーカー: The MIT Press
  • 発売日: 2010/12
  • メディア: ハードカバー

久保拓哉. 2012. データ解析のための統計モデリング入門 — 一般化線形モデル・階層ベイズモデル・MCMC. 岩波書店.

浅野皙, and 中村二朗. 2009. 計量経済学. 有斐閣.

計量経済学 (y21)

計量経済学 (y21)

*1:厳密には説明変数の値を所与とした条件付き確率だが, 本筋には影響しないので単なる確率として書いている