ブックマークニュース

ceek.jpのラボで、はてブニュースというのをされてますが、

はてなブックマークのランキングをクロールして、ceek.jp Newsのようにナイーブベイズで分類するもの。
http://labs.ceek.jp/hbnews/

みさきニュースもはてブのランキングはクロールしてますが、
他にもライブドアのブックマークランキングもクロールしてます。
ただ、それだけだと、ニュースの立ち上がりが遅いし、種類も万人受けに偏るので、
何人かのブックマークもクロールさせてもらっています。

まだ分類ではやってませんが、とりあえずクロールの部分をmySQLでやってみました。

重複で登録されているとスコアを増やしてます。
はてブと、ライブドアで、どちらも同じ記事が載ってれば、より重要といえるでしょうし。
方向性として、ソーシャルブックマークのランキングだけ見るか、ブックマークなり、ブログなりを全部見て、自分で集計するか？
個人でやると、後者はかなり重いので、間を取って、ランキング＋数人をクロールするという折衷案に。あまり美しくないですが……
みさきニュースではさらに一般の記事も混ぜてますが
ぼちぼち作っていきましょう。平日は時間が無いので無理ですが。

ブログ検索はエントリーが7万を超えて、さすがに検索が重くなってきました。
有限会社ブラジルのsennaをmySQLに組み込めるみたいですね。はてなのブックマーク検索でも使ってるらしい。