最近HPにやたらと海外からのアクセスとスパムコメントが多いので解析を見てみたら、なんだかよくわからないbotがたくさん来てました。
実は、数ヶ月前にエラーを頻発させていたと思われるMJ12botだけは制限かけていたのですが、そのかわりのものが増えてきてるようです（笑）
さしあたり、ググってみて悪さをしそうなのと、正体不明で転送量が多めのものを制限しておきましたが、これで少しは効果があるかな…？
調べてみて思ったのが、意外とネットには情報が少ないということです。出本不明のクローラーって沢山有るのですね(´・ω・｀) 下の画像を見て「これも制限しといたほうが良いよ！」というものがあれば是非教えてください。
ついでに今回のrobots.txtの内容も載せておきます＾＾
User-agent: MJ12bot
User-agent: bot[\s_+:,\.\;\/\\-]
User-agent: BaiDuSpider
User-agent: robot
User-agent: yandex
User-agent: no_user_agent
User-agent: java\/[0-9]Disallow: /
