Ubuntu14.04でRからmxnet使いたくなってセットアップ。ガイド見ながらやっていけば終わり...と思ったらinstall_depsでいくつか引っかかった。Windows/Macばりに甘やかされたい。次からコピペでやりたいので自分用にメモしておく。 http://mxnet.readthedocs.…

教科書を読むと、random forestでモデルを学習させて、ある良い予測精度のものが得られたら、まずは各変数の重要度をみて、つぎにpartial dependency partial dependence plot（PDP）を眺めなさい、と書いてある。ある変数の動きに注目して予測値がどう変化…

「Oracle Property」。巷にこれほどかっこいいフレーズはそうそうないと思うので紹介を試みる。さて、Lassoの罰則項はどういう作用を持っているか？ L1 normの縮小推定を解説する図はいろんな教科書にも載っているのだが、自分は最初見たときに実感を持てな…

数年ほど前には最強と言われて一世を風靡していたrandom forestだが、予測以外にも使い道が提案されている。Rのパッケージから紹介したい。 予測全体の把握と仮説ルールの抽出 決定木分析が便利な理由の一つは「どういうルールでその予測が成り立っているの…

High-Dimensional Metrics in R CRAN - Package hdm やりたかったこと＝ oracle property保証のlassoで変数選択(n＜p) 得たもの＝ 速い、一致性はそれっぽい。 やりたいこと＝ ほかのパッケージとの比較、証明部分読む。 以下、試したかった部分だけ： # ins…

並列化できる評価関数があり、その調節パラメータを並列にグリッドサーチしたい。単純に考えると親のソケットクラスタから子クラスタを生成すると良いのかな、と思うがもっといい方法ないものか。評価関数は例えば、randomForestのようなアンサンブル学習で…