機械学習入門（ＮＥＣソフト）がボナメソの参考になる
自分には基礎学力が足りなくてかなり難しいですが、
L1やL2正規化の話もでてきて、
ボナメソやってる人には参考になると思います
http://sugiyama-www.cs.titech.ac.jp/~sugi/2008/NECsoft-MachineLearning-jp.html
スライドの３番目の
識別モデルに基づく機械学習
http://sugiyama-www.cs.titech.ac.jp/~sugi/2008/NECsoft-MachineLearning3-jp.pdf
最急降下法の問題点として
（ボナメソは微分のフラグでやってるので最急降下法ではないかもしれないけど
問題点は同じかな？）
- ノイズにオーバーフィッティングする(P19)
- 学習データーにおかしなデータが混じっていると影響が大きい(P34)
これを解決するためにL2正規化では制約条件を追加する
グラフを視ると解りやすいですけど、
モデルが複雑だから過学習するわけで、単純なモデルになるように制約をかけると
ノイズの影響を受けなくなる
グラフで視るとL1とL2は効果が変らなく見えるけど
実際はL1は値が0になる割合が増えるのでスパース学習と呼ばれている（28ページ）
あとL2の値を決める方法として「交差確認法」というのを紹介されている(P22)
学習に使ってないデータを利用して学習内容の評価をするような感じです
ロバスト学習(P36)というのもあって、外れ値があっても強いようです
将棋で言うなら、たまにポカで変な手が混じっていても評価関数が影響を受けないという感じでしょうか？
拘束条件以外に損失関数というのもあるようで、こっちもL1、L2という言い方をするようです
そういえば、CSA例会でGPSの金子さんが損失関数という言い方をしていた気がします
44Pにスパース・ロバスト学習というのがあります
