全巡回中

http://menu.2ch.net/bbsmenu.html
をパースして板のURLを取り出して、subject.txtのレスタイトルを全巡回中
(現在24番目のliveplus)
全部回るのに、どんだけ時間かかるのやら?
もっとも、クロール処理自体は、板間に依存関係が全くないので、いくらでも並列処理できる


理論上は、mapで1000板を並列取得して検索して、結果をreduceで集めれば、
全文検索エンジン(senna)なんかなくても、すぐ検索できるはず。