科学史から最小二乗法 (回帰分析) を説明してみる

2016/12/15: にわかに閲覧者が増えたのでおかしなところを微修正 概要 統計学史をちょっと調べていておもしろかったのでまとめてみた 技術的にはすごく初歩的な話なので, 回帰分析 (最小二乗法) の入門的な「読み物」という位置づけになりそう 入門的な読み…

[計量経済学] 非線形モデルと操作変数の応用例

概要 前回 [GMM] 非線形モデルでの一般化モーメント法と操作変数 - ill-identified diary の続き. 操作変数を用いる非線形モデルの例として, 2値選択の場合の手法を紹介する. 前回予告ではロジットと言ったが, プロビットの話になった. 文章量はpdf換算6頁程…

[GMM] 非線形モデルでの一般化モーメント法と操作変数

概要 [GMM] 一般化モーメント法と操作変数 - ill-identified diary の続き. 非線形モデルに対して操作変数法*1, あるいは GMM を適用するのかということについて 最尤法との比較 具体的な応用例はまた別の記事に 前回予告したように, 非線形モデルに対して G…

[計量経済学] ロジスティック回帰の2通りの表現

2015/3/4 対数尤度関数の式が間違っていたので修正 概要 潜在変数 (latent variable) モデルを用いた2値のロジスティック回帰 (ロジットモデル) の表現について説明する 文章量はPDF換算で3ページ程度 久保本でのロジスティック回帰その筋では結構有名になっ…

[pandoc] [LaTeX]はてなブログの執筆環境を考える

概要 markdown 記法は楽だがはてなブログのTeX記法がTeXじゃない! 時間を掛けたくない! LyX + pandoc なら楽. 一部問題があるが変換に成功. これまで markdown 記法でブログを書いてきたのだが, このモードでは TeX の構文と相性が悪く, TeX といいつつ似て…

[GMM] 一般化モーメント法と操作変数

概要 今回は GMM (一般化積率法, 一般化モーメント法) について, 操作変数法との関連に重点して話す. そもそも GMM とはなにか. GMM と操作変数法 (2段階最小二乗法) との関係 操作変数を使った推定法のバリエーション 職場の統計推論に詳しい人に「GMM って…

[R] タイムゾーン変換

概要 Date-time オブジェクトのタイムゾーン変換がよく分からなかった. 実はちゃんとリファレンスに書いてあった. 詳細 文字列を日付として取り込む場合, as.POSIX* を使う(strptime() 関数というのもある). さらにこのとき, タイムゾーンを指定すれば別の標…

[R] R で二段階最小二乗法 (操作変数法)

概要 今回は大した内容ではない sem パッケージで二段階最小二乗法をする tsls() 関数の構文がちょっとわかりづらかったのでメモ書き程度に残しておく 操作変数 のようなモデルがあるとして, が内生変数である, つまり 誤差項 と相関するとき, 通常の最小二…

[Twitter] [R] ツイッター選挙分析 (黎明篇)

概要 以前 紹介した streamR を利用して, 選挙前11日分のツイートを取得していた. しかし活用方法が分からないので簡単な集計結果のみ公開 ggplot2, dplyr などを使ってグラフにまとめる例を示す streamR でツイートを集める 1時間単位でツイートを収集し, t…

[計量経済学][時事ネタ?] 非連続回帰デザイン (RDD) 実践編

前回のRDD理論編を踏まえて, 前回 紹介した, Angrist and lavy(1999) "Using Maimonides' Rule to Estimate the Effect of Class Size on Scholastic Achievement" (以下 AL1999 と呼ぶ) のサンプルデータが著者の一人アングリストの所属する MIT Economics …

[計量経済学] 非連続回帰デザイン (RDD) 理論編

2014/12/18 実践編を更新 [計量経済学][時事ネタ?] 非連続回帰デザイン (RDD) 実践編 - ill-identified diary 概要 数式が多い Sharp RD と Fuzzy RD の手法について前回より厳密かつ実用性のある説明をする. R の rdd パッケージを使って実演する. → 理論の…

非連続回帰デザイン(Regression-Discontinuity Design)

RDDとは? 前回 で言及したRDDについて, もう少し詳しく話すために個別に記事を書いた. Regression-Discontinuity Design (RDD) “Reforms as Experiments” は, Campbell (1969) で, 政策評価のために提案された方法論. Campbell (1969) には RDD 以外の話題も…

[時事ネタ] 少人数教育は実際どれくらい意味があるのか

2014/11/20 時事ネタと言いつつ時事ネタへの言及が皆無だったので加筆 前置き 時事ネタ (NHK: 自民党 35人学級見直し反対の決議案) というほど時事問題に踏み込んではいないが, 少人数教育に関する研究として, J. D. アングリストと V. レヴィによる1999年…

[DOS芸] 文系学生のためのデータ加工

2014/09/22 SQL 学習用の参考サイトを申し訳程度に追加 要約 今回の記事は プログラミングをあまりしたことのない (文系の) 学生で 卒論 (もしくは修論も?) で回帰分析など, 定量的な研究をしてみたいと考えている 人を読者層に想定して書いた. では何を書く…

[xkb] Ubuntu 14.04 で Caps Lock を別のキーにする方法

概要 ubuntu 14.04 で xkb の設定を変えて Caps Lock を 好きなキーに変える方法 無変換キーをエスケープキーにする方法 他のキーの機能も変更できるようにするヒント を紹介します. 2015/6/17: 起動時に自動で設定を反映する方法について追記 2016/8/14: Ub…

×「母数」 ○「分母・全数」

(お断り) 今回はお役立ち情報というより読み物, あるいは筆者の政治的主張です. 2016/7/18: 「サンプル数」について加筆 母数はパラメータの訳語 確率論・統計学で用いられるパラメータ (parameter) は, 確率分布の特徴を表す値で, 日本語では「母数」と訳さ…

[GIS] [R] 日本国内の鉄道網を可視化してみる (後編)

画像は60年代の東京都心の路線 (変わってない) 前回までのあらすじ 国交省の国土数値情報データベースからダウンロードした国内の過去存在した鉄道のデータを R で読み込み, 任意の時期の鉄道を表示する方法を紹介した. しかし, R では静止画像で表示するこ…

[GIS] [R] 日本国内の鉄道網を可視化してみる

今回やること 国土交通省の国土数値情報ダウンロードサービスから鉄道の時系列データをダウンロードし, 国内の鉄道路線網がどう変わっていったかを, R を用いた処理方法を解説しつつ, 可視化してみる. 今回も R を使ってグラフを作成する. 以前の[R] Rで学ぶ…

[離散選択] ロジットモデルの決定係数

線形回帰モデルのときは, 決定係数 という指標で, そのモデルの当てはまりの良さ, 言い換えるなら実際に観察された現実のできごとをどれくらい説明できるかを表すことができた. 決定係数の長所は, 必ずゼロから1の範囲になるため, 直感的に当てはまりの良し…

[発展編] 多項ロジットの話

前回の多項ロジット (混合ロジット) の話に引き続いて, 多項ロジットが使えない場合の手法について書いておく. 今回言及するのは: IIAの仮定を検証する方法 ネステッド・ロジット 実行方法 一般化極値 (GEV) モデル 混合モデル (Mixture Model) 実行方法 で…

[離散選択] 非集計データの購買行動

2014/06/12: データの加工方法を加筆 2014/06/14: 多項ロジット, 条件付き・混合ロジットを混同しないよう修正 離散選択が消費者の購買行動を分析するのにどう利用されているか, ということについて調べていたので, その要約を書いておく. 自分はマーケティ…

[TeX] [beamer] ありふれた新米会社員の教えるスライド作成術

導入 万能な TeX は beamer クラスを使うことでプレゼンに必要なスライドもスタイリッシュかつセンセーショナルに仕上げることができる. しかしながら, オフィスのパソコンには大抵入っているマイクロソフトのパワーポイントはお手軽にスライドを作成できる …

[R] Rで学ぶ都知事選のデータ可視化【地理データ編】

注記 2014/11/8 シェイプファイルの利用元を ESRI から国土数値情報に変更し, 若干修正 概要 maptools パッケージを使ってGISデータをRに取り込み, 操作する方法を紹介する 意地でも ggplot2 パッケージをつかってGISデータからコロプレス地図 (塗り分け地図…

[R] 都知事選挙を題材に学ぶ ggplot2 の作例

概要 前回 (ggplot2 で積み上げ折れ線グラフ(エリアプロット)を作成する方法) に引き続き, ggpplot の作例を紹介する. 前回は時系列データから積み上げ折れ線グラフを作成したのに対し, 今回は2014年2月9日に行われた東京都知事選挙の結果という横断面デー…

ggplot2 で積み上げ折れ線グラフ(エリアプロット)を作成する方法

概要 時系列データセットを加工し, ggplot2 で作図する場合を例に, 以下のことに言及する. ggplot2で複数の系列の折れ線を1つのグラフに表示する方法 さらにそれを積み上げグラフ(エリアプロット)に変形する方法 デザインを洗練する方法 -- 色系統の変更 -…

経済学系のレポート・論文を XeLaTeX で書く際の Tips

記事というか, 既出情報のまとめっぽい感じになってしまった. 独自性や貢献はあまりない. 自分は普段 ubuntu 使ってるので windows とかだと少し勝手が違うかもしれない. XeLaTeX を使う 自分は普段 XeLaTeX を使っている. 理由は (ほとんど 1. だけだが) 以…

[R] [LaTeX] R での分析結果を LaTeX 形式で出力するパッケージ比較 (後編)

前置き 記述統計について書いた前回に引き続き, 回帰分析の結果をスマートに表にまとめる方法を複数のパッケージを比較しつつ紹介する. 前回に引き続き, xtable, latex, stagazer 関数の他, 新たに texreg についても紹介したい. 経済学系の論文では, 回帰分…

[R] [Twitter] streamR パッケージで Twitter Streaming API にアクセスしてみた

R でツイッターから情報を取得するパッケージは twitteR が有名だが*1, R で Streaming API へアクセスできる streamRパッケージを紹介してみたい. streamR の概要 CRAN - Package streamR によると作者は NYU の Ph.D. candidate (現在) の Pablo Barberá …

[R] [LaTeX] Rでの分析結果をLaTeXに出力するパッケージの比較 (前編)

2014/01/28加筆修正 途中で疲れたので記述統計のみです. 要約 手っ取り早く体裁の整った記述統計を出力したい場合は stargazer ある程度自由の効き, かつ手軽なのは describe+xtable 細かい体裁に拘りたい場合は describe+latex latex 形式への出力 というわ…

64bit版 Ubuntu で32bit版(学生版) MATLAB を動かす方法

学生版は32bit限定のため、 64bit版 Ubuntu ではインストール時や起動時に不具合が発生するおそれがある。 以下は自分が64bit版 Ubuntu 13.04でMATLAB R2012a学生版を起動までこぎつけた時のメモ.とはいえ、大半はMATLAB-Community Ubuntu Documentationの要…