ログインしてさらにmixiを楽しもう

コメントを投稿して情報交換!
更新通知を受け取って、最新情報をゲット!

Webの世界で働く人集まれ〜コミュのBaiduspider

  • mixiチェック
  • このエントリーをはてなブックマークに追加
サイトへのアクセス数が上がったら、喜ぶ前にまずは確認を!!
私は運用・保守も含めサイト制作を行っているのですが、最近複数のお客様のサイトで、Baiduspider による迷惑行為が観測されています。
Baiduspiderは、中国の検索サイト「百度」のために、ウェブサイトの情報を収集するロボット(クローラ)です。
クロール頻度が高くサーバに多大な負荷をかけてしまうことが問題とされてました。一時期沈静化していたのですが、最近また猛威を振るう傾向にあります。
取り敢えず、.htaccess で対応してみました。ユーザエージェントの他に、IPアドレスもチェックして制限してます。
みなさんのサイトに異常はありませんか?

SetEnvIf User-Agent "Baiduspider" Badbot

order allow,deny
allow from all
deny from 122.152.128.0/23 # for Baiduspider
deny from 122.152.140.0/23 # for Baiduspider
deny from env=Badbot

コメント(0)

mixiユーザー
ログインしてコメントしよう!

Webの世界で働く人集まれ〜 更新情報

Webの世界で働く人集まれ〜のメンバーはこんなコミュニティにも参加しています

星印の数は、共通して参加しているメンバーが多いほど増えます。

人気コミュニティランキング