Namazu-users-ja(旧)

[壷井 敏史 <tsuboi@xxxxxxxxxxxxxxxxxx>]

インターネットでデータを収集した場合
http://verno.ueda.info.waseda.ac.jp/iron33/fs.html
ココを見ると、
EMLINKの関係で1ディレクトリに入るディレクトリの数が最高で
ext2 が 32000、FreeBSD の ufs が 32767(=0x7fff) 付近、
ReiserFSでも 64535(=0xffff-1000)
つまり、wgetのような形で配置すると、最高でも64535（ディレクトリ）URLの
サイトがmknmzの限界では？っと思いました。
そこで、ディレクトリではなくファイルにして、mknmzできないかな？っと
思いました。
一つのURL（ディレクトリ）ごとにtar形式にすれば、一つのディレクトリでも
64535URL（ディレクトリ）以上のデータを処理できるのでは？っと思いました。
こうすれば、展開していなくてもなんとなるかな？っと考えました。
tar形式のままmknmzできれば、かなり大きな数のインターネット上のファイルを
扱うことができるとおもいます。
prnmzもtar形式から処理できれば、かなり有効になりそうな気がします。
一番いいのは、tar.gzから処理できれば一番有効だと思います。
いままで、このような作業をされた方がいれば、お教えいただけないでしょう
か？。
素人考えですみません。よろしくお願いします。