WordPress パンダ・アップデートとWordPress(2) – 対策例
現状を「パンダ・アップデートとWordPress(1)」に記載した。 アクセスが減った可能性をパンダ・アップデートが原因とすれば、考えうる対策はどのようなものか調べる。偶然にもここのところrobots.txt を取り扱うことが多かったが、W...
robots.txt
WordPress 
WEB super-goo.com クローラーのrobots.txt による拒否や調整
最近、super-goo.com からのアクセスが多くなってきたので、robots.txt を調整することにした。
WEB Internet Archive クローラーのrobots.txt による拒否や調整
最近、*.us.archive.org からのアクセスが多くなってきたので、robots.txt を調整することにした。
WEB NAVER クローラーのrobots.txt による拒否や調整
最近、NAVER のクローラーのアクセスが多くなったので、robots.txt を調整することにした。
WEB クロール頻度を調整する robots.txt
筆者の複数のサイトを運営する上で経験した”クローラーアタック”といえばGoogle なのだが、どうやら今さらながら新手に遭遇したようだ。情報を調べてみると、あまり行儀がよろしくないと名高いクローラらしい。 これまでrobots.txt とい...