Bona4のペナルティについて

以前、akiさんがbona4のペナルティについてL1ノルム、L2ノルムの話をされてましたが、
http://d.hatena.ne.jp/ak11/20090202#p1

論文のやり方がL2正則化で、ソースのやり方がL1正則化*1なんでしょうか。
Al(v)はまたなんか違う気もしてよく分かりませんが。


http://www.geocities.jp/kashi_pong/research_diary-2007.html

半正定値行列のトレースは、固有値の絶対値の和(つまり、固有値をベクトルと見た場合のL1ノルムに相当する)
であるから、これを正則化項として小さくすることは、多くの固有値が0になり、結果的に、行列のランクが下がるのである。

理論的背景とかはよく判らないんですが、考え方はわかる気がします
L1ノルムはノイズリダクションになってるのかもしれない。
スパース化が進むけどゴミ情報の値がついてても意味が無いので、それなら0になったほうがいい。


ある程度の子は伸ばすけど、基準まで上ってこれない子は谷底に叩き落す?
で、あがってきた子は、能力に応じて教室を分けるのがL2ノルム?
(よく発言する子の意見は控えめに聞いて、あまり発言しない子の意見は重要視する。ucb1に似ている)


bona4のL1ノルムらしき値は FV_PENALTY=( 0.5 / (double)FV_SCALE )=0.5/32=0.015625
この値が大きすぎると未完の大器も谷底に叩き落す気がするの、エンジンの特性に合わせて調整すべきかもしれない。
http://d.hatena.ne.jp/issei_y/20090201/1233505643