NAVER クローラーのrobots.txt による拒否や調整

最近、NAVER のクローラーのアクセスが多くなったので、robots.txt を調整することにした。

NAVER とは

ネイバー（NAVER）は、韓国最大手のインターネット検索ポータルサイトである。運営会社は、NHN Corporation。 日本で提供しているインターネット検索サービス「NAVER （ネイバー）」の運営はNHN Japan（旧ネイバージャパン株式会社を吸収合併）が行っている（「ネイバー – Wikipedia」より引用）

韓国内では圧倒的なシェアを保持するといい、日本で言えばYahoo!Japan のような存在だろうか。

韓国国内では、検索回数で77%(2010年現在)でGoogleやYahooといった他社を圧倒するシェアを有する検索サイトである（「ネイバー – Wikipedia」より引用）

ちなみに、livedoor の検索エンジンはGoogle からNAVER へ変わったそうだ。

2010年には、ネイバージャパンの母体であるNHN Japanが日本の有名ポータルサイトライブドアを70億円で買収し、韓国国内や日本のIT業界で話題になり、その経緯でライブドアの検索エンジンがGoogleからNAVERへと切り替わった（「ネイバー – Wikipedia」より引用）

NAVER といえば”NAVER まとめ”が思いつくのだが、その辺に掲載されている様子はない。運営会社はNHN Japan 。NHN Japan といえば最近話題のLINE も提供している。

NHN Japan（エヌ・エイチ・エヌ・ジャパン）は韓国最大のインターネットサービス会社NHNの日本法人（「NHN Japan – Wikipedia」より引用）

ハンゲームから始まったそうだ。

2000年 9月 – ハンゲームジャパン株式会社として設立（「NHN Japan – Wikipedia」より引用）

アクセス頻度の調整

User-Agent: Yetibot
Crawl-Delay: 20

（「ロボットの巡回頻度やアクセスの間隔を調整することはできますか？ – NAVERヘルプセンター」より引用）

アクセスの拒否

User-agent: Yeti
Disallow: /

（「naver.jpクロールによるアクセス拒否の方法: SEOポイント」より引用）

※Yetibot が正しいのか Yeti が正しいのかは不明。前者（調整）は２０１２年０７月に確認し、後者（拒否）は２００９年に書かれたと思われる内容。

# あと *.us.archive.org からのアクセスも多くなってきた

参考文献

• 自分のサイトの一部または全体を検索できないようにするには？ – NAVERヘルプセンター
• naver.jpクロールによるアクセス拒否の方法: SEOポイント