namazu-ml(ring)

[Yoshitake -HataP- HATADA <hatada@xxxxxxxxxxx>]

畠田＠オムロンソフトウェア です。

 <199906101301.WAA08669@xxxxxxxxxxxxxx> の、
 "[namazu 780] Re: How to make Huge Index" において
 sugiura@xxxxxxxxxxxx (Sugiura Shiro) さんは書きました。


> 私は、PentiumII(333,350,400,450,500,) + 256MByte Memory + FreeBSD2.2.8
> RELEASEで、
> 
> [Base]
> Date: Thu May 20 00:11:37 1999
> Added Files: 507,744 files
> Total Files: 507,744 files
> Size: 1,291,674,747 bytes
> Added Keywords: 5,287,123 words
> Total Keywords: 5,287,123 words
> Wakati: module_kakasi -ieuc -oeuc -w
> ARGV: '-ahu' '-F' 'files'
> Perl Version: 5.00502
> Namazu Version: 1.4.0.0-beta-8
> System: freebsd
> Time: 61998 sec.
> 
> とかやってます。333MHz(激遅)な環境での結果です。
> [namazu 575]や、[namazu 709]を見てみて下さい。

  はい。ありがとうございます。
  
  ＃って、過去メールの取り寄せって、どこのAddressにコントロールメッセージ
  ＃流せば良いのでしょう??

  とりあえず、このスペックのマシンで、この規模のファイル群の index が出来
  るという実例があったので、少し安心しました。  

> $REMAIN_HEADER = "From|Date|Message-ID|Newsgroups";
> $SEARCH_FIELD = 
"Message-Id|Subject|From|Date|Url|Newsgroups|To|X-Mailer|X-Newsreader";

  これは、News とか Mail ヘッダに関する記述ですね。
  ということは、今回はぼくのケースには関係ないみたいです。

> $ON_MEMORY_MAX   = 40000000;
> という変更を加えています。
> メモリ512Mなら、$ON_MEMORY_MAX はもっと大きくてもいいでしょう。

  なるほど。
  それでは、80000000 にしてみます。

> >>   ディレクトリツリー全部をいっぺんにつくろうとしてもだめなので、
> >>   ディレクトリツリーを少しずつ増やしては mknmzをかけ、またふやしては
> >>   mknmz をかけする作戦にでてみました。
> 
> で、どのあたりでどうダメなのでしょうか？
> もしかして、突然ハードウエアにリセットがかかるとか、perlがコアダンプ
> するとか？

  ハードウェアリセットはないのですが、Perl が core dump しています。
  ただ、これは私が、perlスクリプトの中から system で mknmz を呼んで
  いるので、大本の perl スクリプトが吐いているのかも知れません。
  
  まずはお教え頂いたパラメータをチューニングして、コマンドラインから
  一撃でindex作成してみます。
  
  


---

==================================================================
オムロンソフトウェア  株式会社  新事業開発部                ＿川ノ
                     畠田  喜丈                           （ ヽ ミ
                               hatada@xxxxxxxxxxx           ￣)(
=====提供するネットワークは物理層が伝書鳩で構成されています=======