WEB super-goo.com クローラーのrobots.txt による拒否や調整
最近、super-goo.com からのアクセスが多くなってきたので、robots.txt を調整することにした。
WEB
WEB 
WEB Internet Archive クローラーのrobots.txt による拒否や調整
最近、*.us.archive.org からのアクセスが多くなってきたので、robots.txt を調整することにした。
WEB NAVER クローラーのrobots.txt による拒否や調整
最近、NAVER のクローラーのアクセスが多くなったので、robots.txt を調整することにした。
WEB クロール頻度を調整する robots.txt
筆者の複数のサイトを運営する上で経験した”クローラーアタック”といえばGoogle なのだが、どうやら今さらながら新手に遭遇したようだ。情報を調べてみると、あまり行儀がよろしくないと名高いクローラらしい。これまでrobots.txt といえ...
HTML・CSS CSSとサイトデザインの私的復習2
サイトのデザインをどのようにするかというのは毎度の悩み。サイト構成は簡単にできる。くわえて負荷やサーバーを考慮したサイト構成も。しかし問題はデザインだ。