ill-identified diary

所属組織の見解などとは一切関係なく小難しい話しかしません

[R] [教材]アニメーションで学ぶカルマンフィルタ

概要 すごく今更感があるが, カルマンフィルタのフィルタリングの話. アニメーションを作ってみたかっただけともいう. 簡単な説明なのでもっと具体的な話は他の文献で勉強して欲しい. カルマンフィルタのアニメーションを作成している記事は既にがあるのだが…

[stan][R] RFM分析と階層ベイズ法 (解決編)

前回うまくいかなかった stan を用いたRFM分析の決着編。

[stan] [jags] ggmcmc でMCMCの事後診断

2019/12/15 追記: 現在は ggmcmcよりもbayesplotのほうがおすすめです ill-identified.hatenablog.com概要これまで, stan などのサンプリング結果を R で処理するのが面倒だと思っていたのだが, いまさら ggmcmc パッケージという便利なものに気づいた. rsta…

[R] glmnet を glm みたいに使う

2019/12/15 追記: 今は caret等便利バッケージが増えたので, 以下の内容をあえて使うメリットはないです.概要 本文よりリンクの面積の方が大きいしょぼい記事 glmnet() を glm() の構文っぽく使う関数を雑に作った. 今は caretがあるのであまり意味はない. …

[R] 東京都の所得階級分布から元の分布を推定する方法

土地統計調査の世帯収入は不完全な階級化データでしか公開されないため, 全世帯の平均収入を直接計算することが出来ない。そこで、東京都のデータを使って確率モデルを仮定して世帯収入分布を推定する方法を紹介する。

Ubuntu 16.04 で GPU 対応版 TensorFlow をanaconda 環境でインストールした話

Ubuntu 16.04 で GPU対応した Tensorflow を anaconda 環境にインストールした事例.

[事後連絡] SAS ユーザー総会 2016 で発表してきた

仕事に関係のあることは書かないという建前だが, 7/21-22 に神戸国際会議場で開催された SAS ユーザー総会 2016 で会社名義で発表した. www.sascom.jp 2日目 B-03 が自分の発表。 以上

[STAN] [R] STAN の出力加工方法2 DIC の計算

概要 前回の(R) Stan の出力加工方法 - ill-identified diaryのおまけ的な形で書いた. BUGS には DIC を計算する機能があるらしいが, rstan にはないので書いてみた. Spiegelhalter et al. (2002) で提案された DIC, デビアンス情報量規準はベイズ統計でモデ…

(R) Stan の出力加工方法

概要 忙しくて2ヶ月連続無更新になりそうになっているところをなんとか回避したいという妥協の産物 stan および rstan のモデルの事後診断機能がやや物足りないのでそれを補うヒント 本当に簡単な話 2016/10/07: Accessing the contents of a stanfit object…

[python] [stan] 潜在変数と階層ベイズ法と RFM 分析 [未完成]

RFM 分析を潜在変数と階層ベイズを使って表現する阿部(2011)を stan でできないか挑戦。まだ未完成。

[stan] [R] ベクトル ARIMA (VARIMA) で人口予測 (?)

概要 前回 VARMA の話をしたのに関連して, 単なるテクニカルな話題から, もう少し実用性のある話にしてみた. 都道府県別の人口の時系列データを VARIMA を当てはめてみた. 今月は時間がなかったのであまり大した内容ではない. 5ページ程度. 中途半端. VARMA …

[R] [Stan] で ベクトル ARMA (VARMA) を推定

Stan で VARMA のパラメータを推定するプログラムを用意した. Stan は始めたばかりなのでまだ効率的なコードでないかもしれない.

[QGIS] [R] QGIS と空間統計モデル (CARモデル)

概要・前置き 以前も何度か R で地図を作る方法を紹介していたが, 自分のプログラミングテクが雑なこともあり, 冗長なコードの掲載であまり便利でないのではという印象を持たれる恐れもあった. そこで, GUI で操作のできるわりに高機能な QGIS (Quantum GIS;…

[異種試合] ディープラーニングVSディープパラメータ

ユリウス暦2020/1/6更新: その後のこの分野の急速な発展のため, 情報を更新した ill-identified.hatenablog.com 概要今やかなり使い古された感じのあるテーマだが, 統計学と機械学習の違いについて, 分析の対象が社会現象である場合に限定して自分なりの考え…

SASでの文字コードの扱い方

概要あんまりないと思うが, 文字コードが異なるOS間でデータのやりとりをするときの話. SAS でセッションのエンコーディングと異なる文字コードのテキストを読み込む or 書き出す方法について データセットのエンコーディングが異なる場合のやり取りについて…

[R] ふだんと少し違うソローモデル

概要 普段とは趣向を変えて, R でソローモデルのシミュレーションをする. そのままだとつまらないので, ソローモデルの人口成長の前提条件をロジスティック法則としてみる. 分量はPDF換算で 6 ページ. ロジスティック法則についてソローモデルや, 他の多くの…

時系列編の続き: サンプルサイズが小さいときの情報量基準

概要前回の[[R] 回帰分析で適切な方法を使わないとどうなるか (時系列編) - ill-identified diary]で, 「時系列分析の場合は線型過程のラグ項の次数が分からないことが普通ではないか (なので実用性に欠ける用例でないか)」という指摘をいただいたので, 過去…

[SAS] 日付でオブザベーションを抜き出す方法について

概要SAS の日付の扱い方について. 本当に小ネタ.実行環境は SAS® University Edition.SAS日付値データから特定の日付 (または期間) のオブザベーション (レコード) だけ抜き出したいという場面は結構多いはず. SAS では日付は文字列では認識せず, SAS内部で…

[R] 回帰分析で適切な方法を使わないとどうなるか (時系列編)

概要 前回 大数の法則の視覚化から理想の推定量を考える - ill-identified diary の最後に上げた具体例の, 時系列分析の場合についても, 推定量の違いから生じる結果を視覚化してみた. 時系列はあまり詳しくないので操作変数編より内容が薄い. 安定な自己回…

[R] 回帰分析で適切な方法を使わないとどうなるか (操作変数編)

概要 大数の法則を視覚化した前回 大数の法則の視覚化から理想の推定量を考える - ill-identified diary の最後に挙げた具体例の, 操作変数の場合についても, 推定量の違いから生じる結果を視覚化してみた. 通常最小二乗法と操作変数法 (2段階最小二乗法) だ…

大数の法則の視覚化から理想の推定量を考える

概要 シミュレーションで「大数の法則」を視覚的に表しながら説明してみる. 推定量の「一致性」「不偏性」「有効性 (効率性)」とはなんなのかも説明 異なる性質を持つ推定量が大数の法則のもとでどういう違いが出るのかを視覚的に表す. というか中心極限定理…

科学史から最小二乗法 (回帰分析) を説明してみる

2016/12/15: にわかに閲覧者が増えたのでおかしなところを微修正 概要 統計学史をちょっと調べていておもしろかったのでまとめてみた 技術的にはすごく初歩的な話なので, 回帰分析 (最小二乗法) の入門的な「読み物」という位置づけになりそう 入門的な読み…

[計量経済学] 非線形モデルと操作変数の応用例

概要 前回 [GMM] 非線形モデルでの一般化モーメント法と操作変数 - ill-identified diary の続き. 操作変数を用いる非線形モデルの例として, 2値選択の場合の手法を紹介する. 前回予告ではロジットと言ったが, プロビットの話になった. 文章量はpdf換算6頁程…

[GMM] 非線形モデルでの一般化モーメント法と操作変数

概要 [GMM] 一般化モーメント法と操作変数 - ill-identified diary の続き. 非線形モデルに対して操作変数法*1, あるいは GMM を適用するのかということについて 最尤法との比較 具体的な応用例はまた別の記事に 前回予告したように, 非線形モデルに対して G…

[計量経済学] ロジスティック回帰の2通りの表現

2015/3/4 対数尤度関数の式が間違っていたので修正 概要 潜在変数 (latent variable) モデルを用いた2値のロジスティック回帰 (ロジットモデル) の表現について説明する 文章量はPDF換算で3ページ程度 久保本でのロジスティック回帰その筋では結構有名になっ…

[pandoc] [LaTeX]はてなブログの執筆環境を考える

概要 markdown 記法は楽だがはてなブログのTeX記法がTeXじゃない! 時間を掛けたくない! LyX + pandoc なら楽. 一部問題があるが変換に成功. これまで markdown 記法でブログを書いてきたのだが, このモードでは TeX の構文と相性が悪く, TeX といいつつ似て…

[GMM] 一般化モーメント法と操作変数

概要 今回は GMM (一般化積率法, 一般化モーメント法) について, 操作変数法との関連に重点して話す. そもそも GMM とはなにか. GMM と操作変数法 (2段階最小二乗法) との関係 操作変数を使った推定法のバリエーション 職場の統計推論に詳しい人に「GMM って…

[R] タイムゾーン変換

概要 Date-time オブジェクトのタイムゾーン変換がよく分からなかった. 実はちゃんとリファレンスに書いてあった. 詳細 文字列を日付として取り込む場合, as.POSIX* を使う(strptime() 関数というのもある). さらにこのとき, タイムゾーンを指定すれば別の標…

[R] R で二段階最小二乗法 (操作変数法)

概要 今回は大した内容ではない sem パッケージで二段階最小二乗法をする tsls() 関数の構文がちょっとわかりづらかったのでメモ書き程度に残しておく 操作変数 のようなモデルがあるとして, が内生変数である, つまり 誤差項 と相関するとき, 通常の最小二…

[Twitter] [R] ツイッター選挙分析 (黎明篇)

概要 以前 紹介した streamR を利用して, 選挙前11日分のツイートを取得していた. しかし活用方法が分からないので簡単な集計結果のみ公開 ggplot2, dplyr などを使ってグラフにまとめる例を示す streamR でツイートを集める 1時間単位でツイートを収集し, t…