Namazu-users-ja(旧)

[Tadamasa Teranishi <yw3t-trns@xxxxxxxxxxxxxxx>]

寺西です。

友部道子 wrote:
> 
> > > > limit は大丈夫でしょうか？
>
> core file size (blocks)  1000000
> data seg size (kbytes)   unlimited
> file size (blocks)       unlimited
> max memory size (kbytes) unlimited
> stack size (kbytes)      8192
> cpu time (seconds)       unlimited
> max user processes       2048
> pipe size (512 bytes)    8
> open files               1024
> virtual memory (kbytes)  2105343
> --------
> 勉強不足で申し訳ないですが、
> 「limitが大丈夫」かどうかは、どこを見ればわかるのか、教えていただけませんか。

上記の内容からして、大丈夫そうです。
 
> > うちでは，15000 ファイル（各ファイル2KB〜3KB，計54MB）のインデク
> > シングを --checkpoint 付けずに毎時間やっていますが何の問題もない
> > ですねえ…

対象とするファイルの内容に依存します。ですので、ファイル数が多いとか
少ないだけでは判断できません。
# もちろんファイル数が多くなるほど、発生率は上がりますが。
 
ところで、インデックス作成の対象となるファイル名はあるようです
ので、拡張子ごとにファイルを分けて、個々でインデックスを作成
してみた場合にどうなるかを試せますでしょうか？

たとえば、.html ファイル全部を mknmz してみた場合はどうか、
とか、.doc ファイル全部を mknmz した時はどうか、.pdf ファイル
全部を mknmz した時はどうかという具合にです。

経験的には .txt .html など素直なファイルは、ファイル数が多くても
処理できると思います。

しかし、.doc や .xls、 .pdf、.gz などは、ちょっと怪しいです。
私の環境の場合(SGI IRIX 5.3)は、いろいろと調べていくうちに perl の
メモリ管理の問題であることがわかったため、お手上げ状態になって
しまいましたが...。
--
寺西