namazu-ml(ring)


[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

robots.txt が適用されません



はじめまして。村山と申します。

この度、ウチの会社のサイトに全文検索を導入しようと言う事になり
namazu を使わせていただこうと思っております。

そこで、namazu をインストールしてインデックスを作ったのですが、
どうしたわけか robots.txt に記述されているディレクトリを参照し
てしまいます。

インデックスを作成する際は /usr/local/namazu/index 内で
# mknmz -eADMPRWX /hoehoe/data
とタイプしています。
ちなみに .htaccess で指定されているところは skip してくれます。

マニュアル等は一通り目を通したのですが、問題点がさっぱりわかりません。
ぜひ、皆様のお力をお貸しください。よろしくお願いします。

以下に環境等を記述しますので、何かお気づきの点があればご指摘ください。
思いつくままに書きましたので、足りない点などありましたらドシドシ言って
ください。

== 環境 ==
OS:FreeBSD3.1R
perlのバージョン:5.005_03
namazuのバージョン:1.3.0.8
httpd:apache1.3.9

== Makefile内の記述(該当部分のみ) ==
## Robots.txt
OPT_HTDOCUMENT_ROOT = /hoehoe/data
OPT_HTDOCUMENT_ROOT_URL_PREFIX = http://www.chichibu.co.jp/
OPT_ROBOTS_EXCLUDE_URLS = ''

(Webのデータを /hoehoe/data 以下に展開しています)

== robots.txtの記述 ==
User-agent: *
Disallow: /log/

(/hoehoe/data/robots.txt に配置)

== Chichibu Media Service == cms@xxxxxxxxxxxxxx ==
== http://www.chichibu.co.jp/ ====================
== Yuichi Murayama == murayama@xxxxxxxxxxxxxx ====