« [写真] 光速エスカレーター? | メイン | 中山記念 »

百度Baiduspiderがお行儀良くクロール頻度低下か

今までお行儀が悪いとアクセスを拒否している人も多いらしい中国の検索エンジン「百度(baidu)」が、クロール頻度を見直すとの発表がありました。

robots.txtを無視したり、cgiへも容赦なく連続アクセスしたりと、あまり評判が宜しくなかったBaiduspiderですが、CNET Japanの記事によれば、まもなく日本語版検索サービスを開始するにあたってクローラ負荷を下げるべくクロール頻度を調整するそうです。

◆記事
百度 日本法人、「Baiduspider問題」への対応を表明 - CNET Japan

◆用語
DoS攻撃 - ずばり一目で全く解らないコンピュータセキュリティ


以前の記事では、Webサイトのアクセス統計サービス「Alexa」の調査で、「百度」はトラフィックベースで中国最大、世界でも第4位の規模なのだそうです。嫌いだった人も、この機会に仲直りしておくと、訪問者が増えるチャンスかも^^;。

◆記事
グーグルを超える中国の検索サービス「百度」、その強さの秘密とは - CNET Japan


そういえば、マイクロソフトも、クローラなどで逆引きできないドメイン名.gblを使ったりしてるのも気になるところです。
httpdのアクセスログがIPアドレスではなくてホスト名で記録されていたりすると、IPが分かりませんからね…。
 例:
 nslookup 207.46.107.62
  ⇒by1msg3245809.phx.gbl
 --
 nslookup by1msg3245809.phx.gbl
  ⇒ Non-existent domain
専用サーバで自由にApacheの設定がいじれる人はHostnameLookupsを無効にすればいいかもしれませんけど、レンタルサーバを間借りしている身だとなす術がないですからね…。