よくわからないクローラーが来る

最近HPにやたらと海外からのアクセスとスパムコメントが多いので解析を見てみたら、なんだかよくわからないbotがたくさん来てました。

実は、数ヶ月前にエラーを頻発させていたと思われるMJ12botだけは制限かけていたのですが、そのかわりのものが増えてきてるようです(笑)

さしあたり、ググってみて悪さをしそうなのと、正体不明で転送量が多めのものを制限しておきましたが、これで少しは効果があるかな…? 

調べてみて思ったのが、意外とネットには情報が少ないということです。出本不明のクローラーって沢山有るのですね(´・ω・`) 下の画像を見て「これも制限しといたほうが良いよ!」というものがあれば是非教えてください。

 

ついでに今回のrobots.txtの内容も載せておきます^^

 

User-agent: MJ12bot

User-agent: bot[\s_+:,\.\;\/\\-]

User-agent: BaiDuSpider

User-agent: robot

User-agent: yandex

User-agent: no_user_agent

User-agent: java\/[0-9]Disallow: /

 

 

 

ブログランキングに登録中です。よかったらポチってくださいm(_ _)m


健康と医療ランキング

松山鍼灸院 漢方鍼灸個別治療室 仁塾