namazu-ml(avocado)

[Hiroshi Kato <tumibito@xxxxxxxxxxxxxxxxxxx>]

加藤です．

> 現在，もう一度，ファイル数約 5000，150Mbyte なアーカイブ (MHonArc で作
> 成したもの)で，インデックスを作成中です．この結果について，御報告した
> いと思います．

不幸なことに，Out of memory! と宣っています (;_;)．２つ程，方法をかえ
てトライしましたが，ダメなようです．

(1) いくつかこのアーカイブを分割して，-F オプションで与えてみる．
(2) -F オプションをやめて，mknmz /ext/newshtml/doc/ocrsi/exc/
    とディレクトリ単位でやってみる．

で，質問です．

(a) 対処療法的に，$ON_MEMORY_MAX を増やしたり，$FILE_SIZE_LIMIT を絞っ
    たりすれば，なんとかなるものでしょうか？
(b) まともにソースを追っかけていないので申し訳ないのですが，
    $FILE_SIZE_LIMIT を超えたファイルは読み飛ばす仕様だと理解していれ
    ばよいでしょうか？
(c) 対処療法的なアプローチをあきらめるとすると，まず止まっているところ
    をつきとめれば幸せなのですが，perl でうまいことやれる方法／ツール
    はないでしょうか？(perl でまともにデバッキングツールを動かしたこと
    がないので)


一応，環境を記しておきます．
(A) FreeBSD 2.1.5-RELEASE
(B) perl 5.004_04 built for i386-freebsd
(C) nkf 1.62 (4/9609/Shinji Kono, COW)
(D) kakasi-2.2.5.tar.gz, kakasi-ext.tar.gz, kakasidict.940620.gz
(E) MHonArc v2.2.0

------------ ちょきちょき -----------
Loaded: FLIST1.1
0 /ext/newshtml/doc/ocrsi/exc/msg04937.html
1 /ext/newshtml/doc/ocrsi/exc/msg04936.html
2 /ext/newshtml/doc/ocrsi/exc/msg04935.html
		:	:
937 /ext/newshtml/doc/ocrsi/exc/msg04000.html

[Base]
Date: Mon May 18 21:27:12 1998
Files: 938 files
Size: 10,483,105 bytes
Keywords: 252,391 words
Wakati: /usr/local/bin/kakasi -ieuc -oeuc -Ea -w
Time: 2568 sec.

Loaded: FLIST1.2
938 /ext/newshtml/doc/ocrsi/exc/msg03999.html
939 /ext/newshtml/doc/ocrsi/exc/msg03998.html
		:	:
1937 /ext/newshtml/doc/ocrsi/exc/msg03000.html

[Append]
Date: Mon May 18 23:10:50 1998
Files: 1,000 files
Size: 12,914,356 bytes
Keywords: 462,748 words
Wakati: /usr/local/bin/kakasi -ieuc -oeuc -Ea -w
Time: 6216 sec.

Loaded: FLIST2.1.1
1938 /ext/newshtml/doc/ocrsi/exc/msg02999.html
1939 /ext/newshtml/doc/ocrsi/exc/msg02998.html
		:	:
2900 /ext/newshtml/doc/ocrsi/exc/msg02037.html
Out of memory!					<-- ココ！

Loaded: FLIST2.2.1
2437 /ext/newshtml/doc/ocrsi/exc/msg01999.html  <-- ファイルのカウンタが
2438 /ext/newshtml/doc/ocrsi/exc/msg01998.html      変なところに戻っている
		:	:
------------ ちょきちょき -----------
============================================================
	加藤裕史＠ ＮＴＴDATA 通信 (株)
	    技術開発本部　マルチメディア技術センタ
	    マルチメディア SI 担当  ドキュメント新サービス
			E-mail: tumibito@xxxxxxxxxxxxxxxxxxx
============================================================