線形回帰モデルのときは, 決定係数 ${R}^{2}$ という指標で, そのモデルの当てはまりの良さ, 言い換えるなら実際に観察された現実のできごとをどれくらい説明できるかを表すことができた. 決定係数の長所は, 必ずゼロから1の範囲になるため, 直感的に当てはまりの良し悪しがわかりやすい, ということにある. ゼロなら一切あてはまっておらず, 1なら完全にあてはまっていることを意味する.

ロジットモデルは, 線形なモデルではないため, 決定係数を用いることはできない. 一般には, 非線形モデルの当てはまりの良さは, 尤度の大きさや情報量基準*1を使用する. これらの指標は複数のモデルのうち, どれがより優れているか, という相対的な良さを知りたいときには便利だが, 決定係数のようにゼロから1の範囲に収まらないため, 「どの程度の当てはまりなのか」ということが直感的にはわかりづらい.

というわけで, 今回はロジットモデルの決定係数について紹介する. 最もポピュラーなのは McFadden の擬似決定係数で, 多くの教科書ではこれが紹介されている. 今回は McFadden 以外にも, Cox and Snell の擬似決定係数と Estrella の擬似決定係数についても紹介する.

McFadden の擬似決定係数

そこで, McFadden (1974) ではロジットモデルでも決定係数のようにゼロと1の間に収まる当てはまりの指標を提案した. これは擬似決定係数 (pseudo- $R^{2}$ ) と呼ばれる. ロジットモデルの尤度を $L_{1}$ , 全てのパラメータをゼロと仮定した時の尤度を $L_{0}$ とすると, 擬似決定係数は

${\displaystyle R_{Mc}^2 = 1- \frac{\ln L_{1}}{\ln L_{0}} }$

と表される. STATA, R などの多くのソフトでは, ロジットモデルを推定した際に表示されるのは, この McFadden による擬似決定係数である. しかし, McFadden の擬似決定係数は, 一般に $R^{2}$ と比べて小さくなりがちであることが指摘される.

Cox and Snell の擬似決定係数

Cox and Snell (1989) で提案されたCox and Snell (Cragg and Uhler とも) 型擬似決定係数は

${\displaystyle R_{CS}^2 = 1- (L_{0}/L_{1})^{2/n} }$

となっている. これは, 最小二乗法に当てはめると, 通常の決定係数 $R^{2}$ に一致することが知られている. 加えて, 尤度を用いて表されるので, 最尤法で解くことのできるものならロジット以外のもの, つまり GLM 一般に対しても適用できるので, Cox and Snell の擬似決定係数は, 「擬似」決定係数というよりむしろ, 「一般化」決定係数と呼んだほうがいいかもしれない (Allison 2013).

ただし, Cox and Snell の擬似決定係数は, McFadden のものにはない弱点がある. それは, 実は「決定係数の上限が1になるとは限らない」ということである. 実際の上限は, $1- (L_{0}^{2/n})$ であり, Allison (2013) では, たとえば二項分布で表された尤度 $(p^{p}(1-p)^{(1-p)})^{2}$ では, $p=0.5$ のときに $R_{\mathit{CS}}^2$ の上限が $0.75$ に, $p=0.9$ ならば上限が $0.48$ にまで低下すると指摘している.

これに対して, Nagelkerke (1991) は, 単純に, $R_{CS}^{2}$ をその上限で割った

${\displaystyle R_{N}^2 = \frac{R_{\mathit{CS}}^{2}}{1- L_{0}^{2/n}} }$

ならば, ゼロと1の間の値を取る指標にできると述べている. (ただし Allison 2013 では, これもちょっと安直すぎないかと批判的である.)

Estrella の擬似決定係数

最後に, Estrella (1998) が提案した擬似決定係数を紹介する. Estrella は, 決定係数が間隔尺度であることを重視した. 決定係数において, ゼロと1の意味するところは明らかだが, ゼロと1の間はどうだろうか. 直感的には, 0.5 なら半分あてはまり, 0.75なら 4分の3ほど当てはまってる, と考えるだろう. しかし, 先に上げた McFadden, Cox and Snell のいずれも, そうはならない. McFadden は決定係数を常に下回るし, Cox and Snell は上限が1より小さくなる. よって, これらの擬似決定係数が 0.5 の値をとっても, 実際には半分程度の当てはまりを意味しない. 一方で, 間隔尺度とは, 「対象物の大きさに対して等間隔に数字を与えるものさし」のことである. 間隔尺度であればより直感的に, どの程度当てはまりが良いかを知ることができる. Estrella の擬似決定係数は, 間隔尺度の性質を持つため, 間隔指数とも呼ばれる.

${\displaystyle R_{E}^2 = \left[\frac{\ln L_{0}}{\ln L_{1}} \right]^{\frac{2}{N}\ln L_{0} } }$

最後に補足になるが, 英語だが IDLE でも (今回取り上げなかった) 各種決定係数の紹介や, STATA での表示方法の説明が行われている.

参考文献

McFadden, D. (1974) “Conditional logit analysis of qualitative choice behavior,” pp. 105-142 in P. Zarembka (ed.), Frontiers in Econometrics. Academic Press.
Estrella, Atruro (1998) ''A New Measure of Fit for Equations with Dichotomous Dependent Variables,'' Journal of business and economic statistics
Allison, Paul (2013) ''What’s the Best R-Squared for Logistic Regression?,'' Statistical Horizons
Cox, D.R. and E.J. Snell (1989) ''Analysis of Binary Data,'' Second Edition. Chapman & Hall.
Nergelkerke, N. J. D. (1991) ''A note on a general definition of the coefficient of determination,'' Biometrika Vol. 78 No. 3 691-692
IDLE ''FAQ: What are pseudo R-squareds?,'' University of California, Los Angeles

*1:厳密には, 情報量基準は当てはまりの良さそのものではないが……