namazu-ml(avocado)

[Kenji Suzuki <kenji@xxxxxxxxxxxxxxxx>]

At 11:34 PM +0900 5/29/98, Satoru Takabayashi wrote:

> 1.2.0-proto-8 はフレーズ検索用インデックスの作成をするのに
> ON_MEMORY_MAX でスワップを行わないで全体をメモリ内で処理してしまう
> ので、対象ファイルが多いとかなりつらいと思います。 Out of memory!
> にならないことをお祈りします ;-)。

残念ながらサーバが今朝5時に力つきたようです．

48632 までいっていたので，あと少しだったのですが，memory
がつきたようです．

-rw-r--r--   1 kenji    users       12288 May 30 01:26 NMZ.err
-rw-r--r--   1 kenji    users    23008283 May 30 05:10 NMZ.f.5693
-rw-r--r--   1 kenji    users      262148 May 30 05:08 NMZ.h.5693
-rw-r--r--   1 kenji    users    73996813 May 30 05:08 NMZ.i.5693
-rw-r--r--   1 kenji    users     2926140 May 30 05:08 NMZ.ii.5693
-rw-r--r--   1 kenji    users           0 May 29 20:23 NMZ.lock2
-rw-r--r--   1 kenji    users     9033800 May 30 05:08 NMZ.w.5693
-rw-r--r--   1 kenji    users       32768 May 30 05:10 NMZ.wkc.5693

ちなみに以前のバーションで作成したインデックスは，

-rw-r--r--  1 kenji   inseki-s  25312893 May 25 11:03 NMZ.f
-rw-r--r--  1 kenji   inseki-s    214260 May 25 11:03 NMZ.fi
-rw-r--r--  1 kenji   inseki-s    262148 May 25 11:03 NMZ.h
-rw-r--r--  1 kenji   inseki-s  81818071 May 25 11:08 NMZ.i
-rw-r--r--  1 kenji   inseki-s   3187568 May 25 11:08 NMZ.ii
-rw-r--r--  1 kenji   inseki-s   5070460 May 25 11:08 NMZ.r

ということで，今のままでは 50000 ファイルは処理できないこと
が判明しました．(linux; 実メモリ 128MB, swap 64MB)

分割作成＆インデックス・マージするしかなさそうですね．


とりあえず，(できたら)近い内に，少ないファイル数で，インデ
ックスを作り，試してみたいと思います．

 ______________________________________________________________
 Kenji Suzuki  <kenji@xxxxxxxxxxxxxxxx>     INSEKI Fukui Search
  福井の全てが検索可能!? http://www.inseki.gr.jp/‾kenji/search/
 _______________ Inseki is Not ganSEKI internet service. :-) __