先日、robots.txtで

User-agent: MJ12bot

User-agent: bot[\s_+:,\.\;\/\\-]

User-agent: BaiDuSpider

User-agent: robot

User-agent: yandex

User-agent: no_user_agent

User-agent: java\/[0-9]
Disallow: /

と制限をかけたクローラー達。早速解析を見てみると…

 

うん。来てる。

しかもなんだか頻度が上がってる気もする! どう考えてもスパムな英語コメントも数日で4件。 これってrobots.txtで「お願いこないでね?」って言ったら逆にHPの存在をアピールしてしまったってことでしょうか? 嫌がらせなのか…? それとも私の氣のせい?

悔しいのでお行気の悪いこいつらは出入り禁止です(笑)

 

今度は.htaccessを使って…

#Deny MJ12bot
SetEnvIf User-Agent “MJ12bot” NoMJ12bot
Order Allow,Deny
Allow from all
Deny from env=NoMJ12bot

#Deny bot[\s_+:,\.\;\/\\-]
SetEnvIf User-Agent “bot[\s_+:,\.\;\/\\-]” Nobot[\s_+:,\.\;\/\\-]
Order Allow,Deny
Allow from all
Deny from env=Nobot[\s_+:,\.\;\/\\-]

#Deny BaiDuSpider
SetEnvIf User-Agent “BaiDuSpider” NoBaiDuSpider
Order Allow,Deny
Allow from all
Deny from env=NoBaiDuSpider

#Deny robot
SetEnvIf User-Agent “robot” Norobot
Order Allow,Deny
Allow from all
Deny from env=Norobot

#Deny yandex
SetEnvIf User-Agent “yandex” Noyandex
Order Allow,Deny
Allow from all
Deny from env=Noyandex

#Deny no_user_agent
SetEnvIf User-Agent “no_user_agent” Nono_user_agent
Order Allow,Deny
Allow from all
Deny from env=Nono_user_agent

#Deny java\/[0-9]
SetEnvIf User-Agent “java\/[0-9]” Nojava\/[0-9]
Order Allow,Deny
Allow from all
Deny from env=Nojava\/[0-9]

 

これでどうだ?! 今回はうまくいくでしょうか?

 

 

ブログランキングに登録中です。よかったらポチってくださいm(_ _)m


健康と医療ランキング