先日、robots.txtで
User-agent: MJ12bot
User-agent: bot[\s_+:,\.\;\/\\-]
User-agent: BaiDuSpider
User-agent: robot
User-agent: yandex
User-agent: no_user_agent
User-agent: java\/[0-9]Disallow: /
と制限をかけたクローラー達。早速解析を見てみると…
うん。来てる。
しかもなんだか頻度が上がってる気もする！ どう考えてもスパムな英語コメントも数日で４件。 これってrobots.txtで「お願いこないでね？」って言ったら逆にHPの存在をアピールしてしまったってことでしょうか？ 嫌がらせなのか…？ それとも私の氣のせい？
悔しいのでお行気の悪いこいつらは出入り禁止です（笑）
今度は.htaccessを使って…
#Deny MJ12bot
SetEnvIf User-Agent “MJ12bot” NoMJ12bot
Order Allow,Deny
Allow from all
Deny from env=NoMJ12bot
#Deny bot[\s_+:,\.\;\/\\-]SetEnvIf User-Agent “bot[\s_+:,\.\;\/\\-]” Nobot[\s_+:,\.\;\/\\-]Order Allow,Deny
Allow from all
Deny from env=Nobot[\s_+:,\.\;\/\\-]
#Deny BaiDuSpider
SetEnvIf User-Agent “BaiDuSpider” NoBaiDuSpider
Order Allow,Deny
Allow from all
Deny from env=NoBaiDuSpider
#Deny robot
SetEnvIf User-Agent “robot” Norobot
Order Allow,Deny
Allow from all
Deny from env=Norobot
#Deny yandex
SetEnvIf User-Agent “yandex” Noyandex
Order Allow,Deny
Allow from all
Deny from env=Noyandex
#Deny no_user_agent
SetEnvIf User-Agent “no_user_agent” Nono_user_agent
Order Allow,Deny
Allow from all
Deny from env=Nono_user_agent
#Deny java\/[0-9]SetEnvIf User-Agent “java\/[0-9]” Nojava\/[0-9]Order Allow,Deny
Allow from all
Deny from env=Nojava\/[0-9]
これでどうだ？！ 今回はうまくいくでしょうか？
