Namazu-devel-ja(旧)
[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: field search bug?
寺西です。
# 既に NKF 2.X の問題であることはわかったのですが、もう少しご協力
# ください。
Tadamasa Teranishi wrote:
>
> > > > $ wc NMZ.field.subject
> > >
> > > wc: NMZ.field.subject:19636: 無効または不完全なマルチバイトまたはワイド文字です
> > ...
> > > wc: NMZ.field.subject:106653: 無効または不完全なマルチバイトまたはワイド文字です
> > > 111823 522938 4636038 NMZ.field.subject
> >
> > ワーニングらしきものがでるのがちょっと気になりますね。
>
> これは警告通り2バイト(あるいは3バイト)文字の途中で切れている場合に
> 発生するワーニングのようです。
> これを意図的に作って試してみましたが、これで本件の問題が発生すると
> いうことはありませんでした。
ところで、mknmz では2バイト(あるいは3バイト)文字の途中で終わる場合の
対処が入っています。
このため、不完全な漢字コードが途中に入っているのだろうと予測され
ます。
そんなわけで、
制御文字の削除とともに不完全な漢字コードの削除(削除が良いのかどうか
わかりませんが。)を検討しないといけないかなと思っています。
NKF 2.X により不完全な漢字コードを生成してしまっているのか、
それとも元データに不完全な漢字コードが入っているのかはわかりません
ので、できましたら
wc: NMZ.field.subject:19636: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:51590: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:51615: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:51668: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:60756: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:60761: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:65023: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:83467: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:83959: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:84632: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:95076: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:95182: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:100493: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:100591: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:100593: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:100594: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:100671: 無効または不完全なマルチバイトまたはワイド
文字です
wc: NMZ.field.subject:106653: 無効または不完全なマルチバイトまたはワイド
文字です
でワーニングがでている元メールをいただけると助かります。
--
=====================================================================
寺西 忠勝(TADAMASA TERANISHI) yw3t-trns@xxxxxxxxxxxxxxx
http://www.asahi-net.or.jp/~yw3t-trns/index.htm
Key fingerprint = 474E 4D93 8E97 11F6 662D 8A42 17F5 52F4 10E7 D14E