namazu-ml(avocado)

[Kenji Suzuki <kenji@xxxxxxxxxxxxxxxx>]

At 12:11 PM +0900 2/12/98, susumu-w@xxxxxxxxxxxxxxxxxx wrote:
>こんにちは。若林と申します。

>k> http://www.inseki.or.jp/~kenji/search/
>k> で実際に運用していますが，そういうわけで1.04aをまだ使っ
>k> てます．
>
>これって、robot は自家製でしょうか？

wget-1.4.5 です．最初は httpdown でやってたのですが，やっぱり
robots.txt くらい従わないとと思い変えました．

自家製っぽい記述をウェブ・ページでしているのはフェイクです．
基本的に上記のサイトは全部 freeware で運用しています．


>私もいくつかのサーバからロボットで収集して社内サーチエンジンとして提供
>しています。ロボットは社内製ですが、これがへぼい...。
>よければロボット公開してください。ぜひ。

wgetは十分高機能ですよ．ただたくさんのサイトから負荷分散して
ページを一度にとるという設計にはなっていないので，request 送
信間隔を設定し，複数プロセスを走らせるという安易な方法でデー
タ収集しています．


あとODINの原田さんがその内 robot を公開するとのことなので期待
しています．


>関係ないですが
>	http://www.inseki.or.jp/~kenji/search/about_the_system.html
>ナイスですね :)

わざわざご覧いただきありがとうございます．
お気づきかと思いますが，DECのページをアレンジしたものです．とい
うわけで，私の最終目標は打倒 altavista です．(笑)

 ______________________________________________________________
 Kenji Suzuki  <kenji@xxxxxxxxxxxxxxxx>
  GANSEKI Users Group    http://www.inseki.or.jp/~kenji/seach/
 _______________ Inseki is Not ganSEKI internet service. :-) __