namazu-ml(avocado)


[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: mkmnz.pl jcode.pl patch



広瀬と申します。

 <tmu@xxxxxxxxxxxxx (MURASHITA Takuya)> wrote.
/~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
>> >mknmz.pl(1.1.2.3 snapshot-6)にnkfを使わないでjcode.plで処理するような
>> >patchを当ててみました。
>> 実は以前に私も jcode.pl を試してみたことがあるのですが、 nkfと比べ
>> てかなり遅いことが判明したので使うのをあきらめてしまったという経緯
>> があります。
	:
	:
>小さいファイルを対象としてしまったのと、
>patchは思いっきり手抜きですが、ここまで遅くなかったです。
>#5回しか試してもいないので、これまた何とも言えませんが。

mknmz はでっかいファイルを、キャッシュが効かない状態で何百個も読むので
負荷を掛けた状態で試した値を見てみたいです。

あともう一つ理由があって、 nkf だと入力漢字コード系の統計的な自動認識
機能があるのですが、jcode だと最初に出て来た漢字コードになってしまうよ
うな気がします。
#統計的に判別する code を mknmz に入れれば良いのですが。。。

   Best regards,
--
Ken-ichi Hirose (^^)k!
e-mail: hirose@xxxxxxxxxxxxxxxxxxxx