namazu-ml(avocado)

[Hiroshi Kato <tumibito@xxxxxxxxxxxxxxxxxxx>]

加藤です．

> % find . -type f |xargs perl -e \
>   'while($_ = shift(@ARGV)){$s=-s $_;print "$s\t$_\n"}' |sort -nr
> 
> のようにして妙に大きいファイルがないか調べてみてください。
			(略)
やってみました．

micky@/ext/newshtml/doc/ocrsi/exc : find . -name "*msg*.html" -type f |perl -nle '$s=-s $_;print "$s\t$_\n"' |sort -nr | head -100
480551	./msg00861.html
439211	./msg00843.html
412797	./msg00682.html
367082	./msg04502.html
366643	./msg04351.html
270478	./msg04503.html
221648	./msg03865.html
220314	./msg03864.html
215881	./msg03755.html
147332	./msg04350.html
119497	./msg04152.html
115627	./msg00464.html
96459	./msg03863.html
92988	./msg03754.html
81804	./msg01574.html
77079	./msg04873.html
76323	./msg01694.html
76323	./msg01693.html
76323	./msg01692.html
		:

な感じです．-name "msg*.html" にしたのは，どっちみち，-F オプションで
指定しているファイル群はこーゆーファイルしかないからです．これらの上位
のファイルは，uuencode ファイルか，

--Multipart_Tue_Jan_20_16:24:11_1998-1
Content-Type: application/octet-stream; type=lha
Content-Disposition: attachment; filename="ank980120.lzh"
Content-Transfer-Encoding: base64

LAAtbGg1LXsCAAB+DAAAsi7ENCACOYdNDQABbGliYW5rLmxpYgUAAOc5AAABvWJ2w0bX++7r
/3avawOBYjh5BQ0K2293OuDCXDXDhrtTm4GH2ruq3hrhKURhoJP3gSwmC2AoMZgMbRkZ7/3/

のような lha + base64 ファイルです．

で，現在，$FILE_SIZE_LIMIT を $FILE_SIZE_LIMIT = 300000 に絞って実行中です．
＃もっと絞ってよかったかもしれませぬ．

現在のインデックスの大きさは？というと，

micky@/ext/newshtml/doc/ocrsi/exc :ls -al NMZ.i*
-rw-r--r--  1 tumibito  toyoetu  51243865 May 19 14:53 NMZ.i
-rw-r--r--  1 tumibito  toyoetu  51243865 May 19 15:04 NMZ.i.5947
-rw-r--r--  1 tumibito  toyoetu   3934204 May 19 14:53 NMZ.ii

と，そーとー巨大化しております (^_^;;;;

＃ やはり，MHonArc の設定をどこかイジって base64 decode してしまうか，
＃ それとも，mknmz の &uuencode_filter($contents) のようなノリで，
＃ base64 なファイルも読み飛ばすか．．．なのかなぁ．．．？？？？
============================================================
	加藤裕史＠ ＮＴＴDATA 通信 (株)
	    技術開発本部　マルチメディア技術センタ
	    マルチメディア SI 担当  ドキュメント新サービス
			E-mail: tumibito@xxxxxxxxxxxxxxxxxxx
============================================================