WEB クロール頻度を調整する robots.txt
筆者の複数のサイトを運営する上で経験した”クローラーアタック”といえばGoogle なのだが、どうやら今さらながら新手に遭遇したようだ。情報を調べてみると、あまり行儀がよろしくないと名高いクローラらしい。これまでrobots.txt といえ...
WEB
WordPress
サーバー/OS
PHP
サーバー/OS