クローラー対策

一昨日のBlogPeopleカウントのアクセス数がとんでもない数字になっておりました。

このブログではBlogPeopleのリンクリストをPHPインクルードで全ページに表示しているために、クローラーが読み込んでもカウントされるからでした。この数字は少なくとも私の使っているJavaScriptタグを貼りつけるタイプのアクセス解析ソフトでは捕捉できなくて、Apacheログを直接みることのできる翌朝にしかわかりませんでした。

特に一昨日は初来訪のAsk.jpクローラーと、お行儀の悪い(悪意？)無名クローラーとが重複していらっしゃったので爆発してしまったようです。

BlogPeopleさんには申し訳ないので、当然の措置としてリンクリストはトップページとTagリストページだけ表示することとします。

そのほか、クローラー一般の対策をなにも採ってこなかったに等しかったので、当たり前の対策を施しました。

サイトマップの設置

Nucleus用のサイトマップ作成スキンを導入。Googleに登録する。

robots.txtの設置

このブログのトップページと個別記事ページに相当するディレクトリのみクロールを許可するように設定。

.htaccessへの追記

上記無名クローラーのIP禁止措置。無駄かも…。

参考リンク

• robotはぢきについて
• MUTTER: [BOT] Bots on NOBODY:PLACE vol.3(NOBODY:PLACE)
• Googleサイトマップ、「robots.txt」ファイル分析を追加(SEM R)

ご注意

当分の間、トラックバックの受信を行わないことといたしました。過去に戴いたトラックバックのリストについてはそのまま保持いたします。

Google Sitemaps : Googlerobotsのクロール情報をフィードバック (PamGau) posted at 2006/02/09 00:12

Googleサイトマップ、「robots.txt」ファイル分析を追加(SEM-R) robots.txtに記述した通りにGooglebotが動作しているかを把握するために利用できるだろう。 ちょうど、前の記事に記載したように、おっかなびっくりでクロール対策を施したのと同時に、この"robots.txt"...

nagasawa posted at 2006/02/07 16:04

感謝！

kyorecoba posted at 2006/02/07 16:19

＞nagasawaさん
もうJavascriptで表示します。
ご迷惑をおかけしました。

kyorecoba posted at 2006/02/07 21:03

ゲゲッ、２万６千…。
アクセスランキング7位って…orz

昨日と違ってこれはGooglebotの仕業です。

GoogleSiteMap上では、ちゃんとrobots.txtの指示どおりにクロールすることを確認しています。ということで、躾が行き渡るまでもう少々お待ちください。

ご注意

当分の間、JavaScript が有効でないとコメント投稿できないようにします。スパム対策であって、投稿される方の個人情報を取得する目的ではありません。悪しからずご了承ください。