Namazu-win32-users-ja(旧)
[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]
Re: 巨大インデックスへの挑戦 (exec())
exec()は9xではまともな動作はしませんがNTでは平気です。
「X-Mail-Count: 00165」
「http://www.namazu.org/ml/namazu-win32-users-ja/msg00164.html」
あたりで書いた記憶があります。
Perl56でやるとなぜだかメモリに使用量が理不尽に跳ね上がった記憶があるので
いまだにバージョンアップしていません。
ちなみに
>$ON_MEMORY_MAX = 1000000
この容量でこんな大規模のインデックスを作ったら
マージに時間ばかりとられて時間がかかる気がします。
自分の環境ではは30万ファイルぐらいの文書を10分割して保持しています。
nmzmerge.plを用いて巨大な文書群のインデックスを
うまくメンテナンスできないものかと考えています。
将来はともかく現在のインデックスの構造が
大量のファイル数(数十万以上)の扱いには向いていないので
文書群から1万ずつのインデックスをたくさん作り
(64個までのインデックスに対しては串刺しで検索できるので)
2個ずつマージしていくという方法を考えています。