琥珀色呑んだくれ備忘録

メモとか備忘録とか

Lassoの非ゼロ変数を代替する候補を可視化する

最近、モデルの解釈性(interpretability)について色々と研究が出ており、興味もあってぼんやりと追いかけている。“Finding Alternate Features in Lassos”という論文が提案されている: Satoshi Hara and Takanori Maehara (2016): "Finding Alternate Fea…

mxnetパッケージをUbuntuで使うためのセットアップ

Ubuntu14.04でRからmxnet使いたくなってセットアップ。ガイド見ながらやっていけば終わり...と思ったらinstall_depsでいくつか引っかかった。Windows/Macばりに甘やかされたい。次からコピペでやりたいので自分用にメモしておく。 http://mxnet.readthedocs.…

random forestの感度分析+

教科書を読むと、random forestでモデルを学習させて、ある良い予測精度のものが得られたら、まずは各変数の重要度をみて、つぎにpartial dependency plot(PDP)を眺めなさい、と書いてある。ある変数の動きに注目して予測値がどう変化するか見てみよう、と…

LassoとOracle Property

「Oracle Property」。巷にこれほどかっこいいフレーズはそうそうないと思うので紹介を試みる。さて、Lassoの罰則項はどういう作用を持っているか? L1 normの縮小推定を解説する図はいろんな教科書にも載っているのだが、自分は最初見たときに実感を持てな…

random forestを予測以外の目的で使う

数年ほど前には最強と言われて一世を風靡していたrandom forestだが、予測以外にも使い道が提案されている。Rのパッケージから紹介したい。 予測全体の把握と仮説ルールの抽出 決定木分析が便利な理由の一つは「どういうルールでその予測が成り立っているの…

“rigorous” lassoを試してみた

High-Dimensional Metrics in R CRAN - Package hdm やりたかったこと= oracle property保証のlassoで変数選択(n<p) 得たもの= 速い、一致性はそれっぽい。 やりたいこと= ほかのパッケージとの比較、証明部分読む。 以下、試したかった部分だけ: # ins…

foreach+%dopar%をネストしたい

R

並列化できる評価関数があり、その調節パラメータを並列にグリッドサーチしたい。単純に考えると親のソケットクラスタから子クラスタを生成すると良いのかな、と思うがもっといい方法ないものか。評価関数は例えば、randomForestのようなアンサンブル学習で…