namazu-ml(ring)
[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: How to make Huge Index
- From: sugiura@xxxxxxxxxxxx (Sugiura Shiro)
- Date: Thu, 10 Jun 1999 22:01:03 +0900 (JST)
すぎうらしろうです。
<199906101245.VAA04514@xxxxxxxxxxxxxx>の記事において
hatada@xxxxxxxxxxxさんは書きました。
>> 具体的にファイル群の大きさは、ファイル数 400,000弱、トータルファイル
>> サイズ 1.4GB弱 のものです。
>>
>> 使用しているマシンのスペックは
>> Pentium2 450MHz 512MByte Memory ( FreeBSD2.2.8-RELEASE )
>> です。
私は、PentiumII(333,350,400,450,500,) + 256MByte Memory + FreeBSD2.2.8
RELEASEで、
[Base]
Date: Thu May 20 00:11:37 1999
Added Files: 507,744 files
Total Files: 507,744 files
Size: 1,291,674,747 bytes
Added Keywords: 5,287,123 words
Total Keywords: 5,287,123 words
Wakati: module_kakasi -ieuc -oeuc -w
ARGV: '-ahu' '-F' 'files'
Perl Version: 5.00502
Namazu Version: 1.4.0.0-beta-8
System: freebsd
Time: 61998 sec.
とかやってます。333MHz(激遅)な環境での結果です。
[namazu 575]や、[namazu 709]を見てみて下さい。
>> 試してみたことは、
>> conf.pl の $FILE_SIZE_LIMIT を 200000 に下げました。
>> conf.pl の $ON_MEMORY_MAX を 500000 に下げました。
>> #メモリを 512MB 積んでいるので、 $ON_MEMORY_MAX を減らして良いのか
>> #どうか分かりませんでしたが....
うちでは、
$REMAIN_HEADER = "From|Date|Message-ID|Newsgroups";
$SEARCH_FIELD = "Message-Id|Subject|From|Date|Url|Newsgroups|To|X-Mailer|X-Newsreader";
$ON_MEMORY_MAX = 40000000;
$SUMMARY_LENGTH = 600;
という変更を加えています。
メモリ512Mなら、$ON_MEMORY_MAX はもっと大きくてもいいでしょう。
>> ディレクトリツリー全部をいっぺんにつくろうとしてもだめなので、
>> ディレクトリツリーを少しずつ増やしては mknmzをかけ、またふやしては
>> mknmz をかけする作戦にでてみました。
で、どのあたりでどうダメなのでしょうか?
もしかして、突然ハードウエアにリセットがかかるとか、perlがコアダンプ
するとか?
--
すぎうらしろう(Sugiura Shiro) E-mail : sugiura@xxxxxxxxxxxx
(伊)x7 <URL:http://www.kt.rim.or.jp/%7Esugiura/>
御希望の方に、もれなく less-332.tar.gz をプレゼントしています
[ If you want to talk with me, you MUST speak Japanese ]