関連記事検索の実装

単語検索に関しては、関連記事検索を実装しているんですが、
関連語をはてな APIから取得して検索してます。
ただ、はてな APIの関連語は、強力は強力なんですが、むだなゴミな単語も入ってくるので、
なかなかうまく集約できませんねえ
たとえば「セーラー服と機関銃」だと、「監督」とか「映画」とかあまりに一般的な単語まで含まれるため、
むだが多いです。

http://props.s73.xrea.com/rss/index.cgi?act=search&search=%(略

Search for "セーラー服と機関銃"

・２５年ぶりのカ・イ・カ・ン！長澤まさみ連続ドラマ初主演で甦る「セーラー服と機関銃」 ＴＢＳ

http://www.sanspo.com/geino/top/gt200606/gt2006062201.html 

【関連キーワード】 powered by Hatena 
長澤まさみ| 薬師丸ひろ子| リメイク| TBS| 緒形拳| キャスト| 監督| 映画| 風祭| リスト::日本の映画::題名::さ行|
 番組| プロデュース| 大門| 石丸彰彦| キャラクター| 原作| 佐久| 物語| 伊與田英徳| 渡瀬恒彦| 相米慎二| スタート|
 赤川次郎| 主人公| 林家しん平| 角川映画| 

【関連記事】 
・84pts TVアニメ 『貧乏姉妹物語』 キャラクター更新
・78pts くりらじ、「ツール・ド・フランス」のポッドキャスト番組を配信--スカイプを活用
・78pts USEN、「どこでもUSEN」でライブドアのコンテンツを使った新番組配信スタート
・72pts S・スピルバーグ氏が映画「Warcraft」の監督に，という噂
・72pts import otsune from Hatena - 「軽音楽だと「こんなんでよかったのかな」って空気読めるのに、自主制作映画のダメさが理解できない超監督ハルヒは、なんか能力設定がチグハグじゃないか？」
・48pts カレイドスターキャラクターボーカルアルバム発売イベント「Applause again」レポート掲載！
・48pts 様々なキャラクターコスチュームを手がけるCOSPATIOで、しまぱんまつりを実施
・48pts ビタミン 『どうして？いじってプリンセスFinalRoad』 サンプルCG＆キャラクター追加
・48pts キャラクターに翼＆羽が生える！『スカッとゴルフ パンヤ』に新アイテムが登場
・48pts 『BLEACH &#12316;ヒート・ザ・ソウル3&#12316;』 新システムとキャラクターを紹介！

なので、方向性として、むだな関連語を削除する方向で進める予定です。
重要なのは「固有名詞」です。
固有名詞＞地名などのやや抽象の固有名詞＞抽象名詞＞副詞・形容詞・動詞

固有名詞は、形態素解析エンジンでも処理できません。そもそもエンジンは巨大とはいえ「できあいの辞書」で処理してるだけですからね。
そこで重要なのは、やはりはてなキーワードのような日々更新されるキーワードの情報です。
しかし、なにが固有名詞か判断するのは難しいです。じゃ、どうするのか？　キーワードから、形容詞・副詞・動詞・一般名詞を引けばいいんですよ。消去法です。

文章要約の手法でも考えてるところですが、言語というのは「名詞」と「動詞」の距離ですよ。
これは、英語も日本語も関係ないです。
この考え方で、2chのスレッドを要約する手法も開発するつもりです。

そういえば、いずみさん原作の「貧乏姉妹物語」アニメ化ですね。HDDレコで予約かけてます。
声優も、金田朋子さんと坂本さんなんで、どっちもファンです(^^)