Namazu-users-ja(旧)


[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: 400G を indexing したいのですがアドバイスおねがいします。



<20011015071847.3B3A0580CE@xxxxxxxxxxxxxxxxxx>の記事において
kenji@xxxxxxxxxxxxxxxxさんは書きました。

>> Namazu の限界があって、確か1000万ファイルとか無理じゃなかったで
>> しょうか? なんかの 32 bit 問題がインデックスにあったような。

<20011015155454.044C.TIETEW@xxxxxxxxxx>の記事において
tietew@xxxxxxxxxxさんは書きました。

>> 5000万ファイルとなると,NMZ.field.summary は 10GB ほどになるんじゃ
>> ないかと思います。すると,NMZ.field.summary.i が 32bit-base だっ
>> たら破綻するんじゃないでしょうか。

  たしかにここ 32 bit で処理されてますね。ううむ。あとは分割して扱うア
プローチしかなさそうです。

>> pack('N') は unsigned long なので,64-bit processor なら大丈夫?

  perldoc -f pack すると、

:                    n   An unsigned short in "network" (big-endian) order.
:                    N   An unsigned long in "network" (big-endian) order.
:                    v   An unsigned short in "VAX" (little-endian) order.
:                    V   An unsigned long in "VAX" (little-endian) order.
:                          (These 'shorts' and 'longs' are _exactly_ 16 bits and
:                           _exactly_ 32 bits, respectively.)

  とあるので、64bit processor/OS でもこの制限にひっかかると思います。

# version 3 では自力で filesystem の上限を越えるような仕組みも考えるべ
# きかな...
-- 
野首 貴嗣
E-mail: knok@xxxxxxxxxxxxx
	knok@xxxxxxxxxx / knok@xxxxxxxxxx