namazu-ml(ring)

[sugiura@xxxxxxxxxxxx (Sugiura Shiro)]

すぎうらしろうです、

昨日ちょこちょこいじっていた時に"-s"オプションについてちょっとした疑問
が浮かんだので"-s"オプションあり、なしについて実験してみました。

環境は、FreeBSD2.2.8RELEASEで PentiumII333(100x5=500MHz) + 256MByte SDRAM
 + 1GByte Swap。

----- /etc/fstab -----
/dev/wd2s2e		/files		ufs	rw,async	1	1
/dev/wd0s2		/wd0s2		ufs	rw,async	1	1
--- kernel config ----
disk            wd0     at wdc0 drive 0 flags 0x00ff
disk            wd2     at wdc1 drive 0 flags 0x0000

wd0s2に対象ファイル群があり、wd2s2eにindexファイルを作りました。

conf.plの変更点は以下の通り、

$REMAIN_HEADER = "From|Date|Message-ID|Newsgroups";
$SEARCH_FIELD = "Message-Id|Subject|From|Date|Url|Newsgroups|To|X-Mailer|X-Newsreader";
$ON_MEMORY_MAX   = 40000000;
$SUMMARY_LENGTH = 600;

実験に使ったファイル群は以下のとおりです。

Added Files: 378,539 files
Total Files: 378,539 files
Size: 956,632,531 bytes
Added Keywords: 4,263,403 words
Total Keywords: 4,263,403 words
Wakati: module_kakasi -ieuc -oeuc -w
Perl Version: 5.00502
Namazu Version: 1.4.0.0-beta-7

これらのファイルを"-s"オプションあり、なしでindex化してみました。
[Base]作りです。

------------------------- オプションあり -------------------------
Time: 34134 sec.

    34135.01 real     26851.82 user      1836.23 sys
    143844  maximum resident set size
       512  average shared memory size
       223  average unshared data size
       143  average unshared stack size
   4736313  page reclaims
       104  page faults
         0  swaps
    618212  block input operations
    212519  block output operations
         0  messages sent
         0  messages received
         0  signals received
    478331  voluntary context switches
    397159  involuntary context switches
------------------------------------------------------------------
------------------------- オプションなし -------------------------
Time: 28690 sec.

    28690.19 real     22710.98 user       772.35 sys
    167556  maximum resident set size
       526  average shared memory size
      1170  average unshared data size
       147  average unshared stack size
    226082  page reclaims
        68  page faults
         0  swaps
    555864  block input operations
    204148  block output operations
         0  messages sent
         0  messages received
         0  signals received
    418092  voluntary context switches
    595109  involuntary context switches
------------------------------------------------------------------

オプションなしは、ほぼ8時間、オプションありは、9時間半という結果でした。
出来上がったNMZ.*ファイル群は総計1GByte程度でした。

気になっていた点というのは、Baseのファイル群がでかくなると、Append作業
の中で、最初のファイルチェック(?)と、最後の書き出しの部分にかかる時間が
半端じゃなくなるということでして、"-s"オプションをつけると、この煽りを
モロに食らうハズ、という予想で実験してみました。

私の環境ではまさにその通りの結果になりましたというわけですが、これが終
了した時にDISKに1GByte空容量があるのを確認し、調子にのってこの馬鹿でか
ファイル群に2000個のファイルをAppendしようとしたら、30分経過した時点で、

/files: write failed, file system is full
/files: write failed, file system is full
/files: write failed, file system is full
/files: write failed, file system is full
/files: write failed, file system is full

という文字列が流れだしたためAppend作業を中止しました。1GByteのIndexファ
イル群に対してAppend作業をする時には空き1GByteでは足りないようです。

やっぱり、Indexファイルはある程度のサイズに小わけした方がいいですね。

#本当は、このIndexファイルで"*e*"を検索しようと思ってたのに、、、、
#壊れたから出来ない。

--  
      すぎうらしろう(Sugiura Shiro)      E-mail : sugiura@xxxxxxxxxxxx
      (伊)x3         <URL:http://www.kt.rim.or.jp/~sugiura/utada.html>
       御希望の方に、もれなく less-332.tar.gz をプレゼントしています
      [     If you want to talk with me, you MUST speak Japanese     ]