分類予測モデルの予測確率の分布を評価する必要のあるタスクが世の中にはある. このような種類のタスクはカリブレーションと呼ばれる. 対数損失やAUC-ROCなどの「よく使われる」メトリクスでは適切に評価できない. しかし一方で, カリブレーションの評価は本…

ビジネスでの応用を考えると損失関数の定義は本当に平均二乗誤差でよいのだろうか.

さまざまな分野の人が参加するため、しばしば専門用語の俗用や誤用があり議論が混乱しがちなデータサイエンスの用語集について幅広く実例付きで考える。

ネットで検索すると良く出てくる時系列予測の「交差検証」には根拠があるのか、という先日の話の補足説明

ロジスティック回帰と多クラスロジスティック回帰の定義は意外とややこしい

概要 要約 先行研究 モデル デモ 実用的なのか? 参考文献 概要 SojinProject, CC-BY-SA-4.0 2日遅れのエイプリルフール 要約分類モデルとして見たロジスティック回帰の分類境界線は、『誤った図解から学ぶロジスティック回帰の性質』で指摘したように曲線で…

収益最大化を条件付き期待値の最大化問題と考えたときにどういう問題が発生するかと, その解決方法についての空想

randomForest::MDSplot() が `ggplot2` で描かれたグラフじゃないのは不便なので作った.

第80回Tokyo.Rの発表の補足として書かれた長文

小林慶一郎氏の『AIと超人類の時代 弱者がもつ強み』の解説

概要 予備知識のセットアップ 目的は因果推論 一般化モーメント法 (GMM) カーネル回帰 ランダムフォレスト 本題 参考文献 概要Athey, Tibshirani, & Wager (2016, Generalized Random Forests) で提案されている Generalized Random Forest (GRF) について解…

prophet パッケージを例にベイズ統計モデルについて説明する

発端 www.datasciencecentral.com というData Science Central の記事が,"A good reminder that Data Science Central is completely insane" https://t.co/68esZTv88d— mat kelcey (@mat_kelcey) 2018年5月22日 (Data Science Central が完全にデタラメであ…

Google の研究者が開発した R 用の時系列予測パッケージ BSTS (ベイズ構造時系列モデル, Bayesian structural time series model) の理念と使い方を解説する.

ユリウス暦2020/1/6更新: その後のこの分野の急速な発展のため, 情報を更新した ill-identified.hatenablog.com概要 機械学習か経済学 (計量経済学) そのいずれかに関してある程度の知識がある人間向け もうすでにこのネタでブログその他がいくつも書かれた…

2019/12/15 追記: 今は caret, mlr, mlr3等便利バッケージが増えたので, 以下の内容をあえて使うメリットはないです.概要 本文よりリンクの面積の方が大きいしょぼい記事 glmnet() を glm() の構文っぽく使う関数を雑に作った. 今は caretがあるのであまり意…

ユリウス暦2020/1/6更新: その後のこの分野の急速な発展のため, 情報を更新した ill-identified.hatenablog.com 概要今やかなり使い古された感じのあるテーマだが, 統計学と機械学習の違いについて, 分析の対象が社会現象である場合に限定して自分なりの考え…