みさきニュース 形態素解析を改良

　文字化けしまくりだったんで改良しました。
　以下のサイトを参考にしました。
http://www.din.or.jp/~ohzaki/perl.htm#JP_Split
　人工無能うずらの開発者の方のperlの解説ページ

　そもそもなぜ文字が化けるかというと、二バイト文字の場合、二バイトをまたがって違う部分にマッチしてしまうから置換で文字化けが発生していたのですが、

$twoBytes = '[\x8E\xA1-\xFE][\xA1-\xFE]';
$temp =~ s/(;;|$twoBytes|^)$temp2(;;|$twoBytes)/$1;;$2/g;

　のように二バイト文字が前後にあった場合のみ置換しますみたいな方法で文字化けがおさまりました。
　今までは関連記事や自然文検索は文字化けしすぎで上手く動いてませんでしたが、多少マシになったはず。

　っていうわけで、注目キーワードを認識するコードを書き始めてます。

　閲覧記事のキャッシュに残ってる記事を形態素分解した例。　

働く女性： 大卒技術系で初任給、初めて男性上回る　厚労省調査
↓
働く;;女性;;： 大卒技術系;;初任給;;初めて;;男性;;上回る;;厚労省;;調査;;

米企業、ハイパースレッディングめぐりIntel、Dellに特許訴訟
↓
米企業;;ハイパースレッディング;;めぐり;;intel;;dell;;特許訴訟

ガソリン卸値大幅引き上げ　元売り、原油高騰で約３円
↓
ガソリン卸値;;大幅;;引き上げ;;元売り;;原油高騰;;約３;;円;;

“生まれ変わった”たまごっちの新たな魅力とは？ (1/2)
↓
生まれ変わった;;たまごっち;;新;;た;;魅力;;？ (1/2)

ヤンキースのクラークが特大アーチ、電光掲示板を破損
↓
ヤンキース;;クラーク;;特大アーチ;;電光掲示板;;破損

人はなぜテレビ番組を“録りためる”のか (1/2)
↓
人;;ぜ;;テレビ番組;;録りためる;;か (1/2)

＜プロ野球＞ガイジン扱いに不満　巨人・ローズが米紙に
↓
プロ野球;;ガイジン扱い;;不満;;巨人;;ローズ;;米紙に

　これでキーワードは取り出せるので、キーワードの出現回数によってソートをしてやって、
　それを毎日繰り返せば、「現在注目されているキーワードがわかる」はずです。