12月
31
2009
robots.txtによるクローラ対策
投稿者: admin, カテゴリ: サーバー, tags: Apache, coreserver, さくらインターネット, サーバー管理・運用投稿日: 2009.12.31 - 02:30
更新日: 2010.01.04 - 00:06
◆すべて拒否
User-agent: * Disallow: /
◆参考文献
-
ロボット(Google・Yahoo!・Microsoft) – ロボ避けとアクセス制限のための覚え書き – livedoor Wiki(ウィキ) :
http://wiki.livedoor.jp/aissle/d/%A5%ED%A5%DC%A5%C3%A5%C8%A1%CAGoogle%A1%A6Yahoo!%A1%A6Microsoft%A1%CB
エントリ (RSS)