namazu-ml(avocado)

[Satoru Takabayashi <ccsatoru@xxxxxxxxxxxxxxxxxx>]

Kenji Suzuki <kenji@xxxxxxxxxxxxxxxx> wrote:

>> 1.2.0-proto-8 はフレーズ検索用インデックスの作成をするのに
>> ON_MEMORY_MAX でスワップを行わないで全体をメモリ内で処理してしまう
>> ので、対象ファイルが多いとかなりつらいと思います。 Out of memory!
>> にならないことをお祈りします ;-)。
>
>残念ながらサーバが今朝5時に力つきたようです．

むむむ。やはりそうでしたか。


>48632 までいっていたので，あと少しだったのですが，memory
>がつきたようです．

でも予想以上にがんばってくれたようですね ;-)。


>ということで，今のままでは 50000 ファイルは処理できないこと
>が判明しました．(linux; 実メモリ 128MB, swap 64MB)
>
>分割作成＆インデックス・マージするしかなさそうですね．

namazu-v1.2.0-proto-9.tar.gzでは ON_MEMORY_MAX に合わせてディスク
に待避しながらフレーズ検索用インデックスの作成処理を行うようにした
のでたぶんいけると思います。インデックスの追加にも対応しています。
いつもどおり、

<URL:http://saturn.aichi-u.ac.jp/%7Eccsatoru/Namazu/proto/>

に置いておきますのでどうぞお試しください。この版ではハッシュ値の計
算の際に記号を無視することにしました。また、

| 忘れていました。では '{' '}' で囲むのはどうでしょう?
| 
| % namazu "{the songs of distant earth}"
| 
| みたいな感じで。

を実装しました。わりとまともに動いてくれているようなので月曜日にで
も 1.2.0-betaとしてリリースするつもりでいます。フレーズ検索を実装
したことは結構ポイントが高いのではないかと思っています (古川さんの
おかげです)。

# ひさりぶりに w3-search に宣伝を流そうかしらん :-)。


P.S.

<URL:http://avocado.aichi-u.ac.jp/%7Ealias/namazu/>

の Namazuメーリングリストの検索ページでフレーズ検索が行えるように
しておきました。

--
高林 哲 Satoru Takabayashi