みさきニュース改良
http://cgi.mediamix.ne.jp/~t5523/user-cgi/z/
misakidexで開発していた関連記事を検索するコードを組み込みました。
被リンク数ランキング、カテゴリ毎ログ、トップの自然文検索で使えます。
- やってることを、おおまかに説明すると
形態素解析→関連用語補完→重み付き検索→ウマー（・∀・）
って感じで動いてます。
- 実例を見てみましょう
お題
「アリスの服の色は黄色だった 」
http://www.hp-alice.com/lcj/zatugaku/colour.html
という記事ですが、
これを自然文検索すると、現時点で、以下の結果が出ます。
66550 points アリスの服の色は黄色だった [関連]
http://www.hp-alice.com/lcj/zatugaku/colour.html
7401 points クマクマアリスさん ＷＦ頒布物「科學大魔號」＆「ぎちぎち団の大へまむし壱號」 [関連]
http://www.alice01.com/kuma2.htm
7401 points アリスソフト TOPのFLASHを「魔女の贖罪」に変更 [関連]
http://www.alicesoft.co.jp/
7401 points アリスソフト 『魔女の贖罪』 サンプルボイス公開 [関連]
http://www.alicesoft.co.jp/majo/
868 points あこがれの“萌え系”の服を着てしまった、覚醒した男たち(2/11) [関連]
http://internet.watch.impress.co.jp/static/yajiuma/index.htm
868 points 服飾に関するトリビア大集合のファッション豆知識 [関連]
http://www.fashion-j.com/mt/archives/2004_01.html
868 points 日本色が強いアニメや日の丸、日本語を流すのは子供に影響 [関連]
http://koreawatcher.at.infoseek.co.jp/docs/20040120n02993.htm
868 points 温度で羽根の色が変わるファンが発売！ [関連]
http://akiba.ascii24.com/akiba/news/2004/02/13/648197-000.html
868 points 孤独なバレンタイン克服に向けて〜ある女IT戦士の作戦 [関連]
http://www.itmedia.co.jp/pcupdate/articles/0402/13/news063.html
868 points 日テレが上九一色村に「サティアン」 ドラマ用に再現 [関連]
http://www.asahi.com/national/update/0213/003.html
868 points 三洋、MPEG-4ビデオカメラ「DMX-C1」に新色を2色追加 [関連]
http://www.watch.impress.co.jp/av/docs/20040212/sanyo.htm
- 考察
トップは、当然、入力文そのままの題の記事がきます。
完全一致なのでポイントもかなり高いです。
以下は、「アリス」や「服」などの形態素に反応しています。
「黄色」に反応する記事は無かったようですが、もしあれば出てくると思います。
この場合は関連用語が発動してないっぽいので、お題としてはよくなかったですね(^^;)
- 今後の改良
形態素解析が自作で低レベルなので、そのへんはかなり改良の余地あり。あと、ポイントを計算する手法はかなり研究の余地あり。
これで記事の関連度を数値で評価できるので、
「URLが異なる記事」で「記事見出しが異なる」場合も、
GoogleNewsのように「この記事は同種と思われるので一つにまとめる」
という処理が可能になります。
