とりあえず完・よくわからないクローラーがくる
HPに海外アクセスが増えて、４０４エラーを頻発させていたと思われる件で、前回からしばらく様子を見ていましたがグーグルの検索ももとに戻り一安心。 海外からのおかしなアクセスも一応落ち着いています。 結局、 robot bo […]
「クローラー」の記事一覧
続・続・よくわからないクローラーがくる
あれから数日…。こんな感じに推移しています。 完全にブロックはできないのですね…しかしアクセス回収や転送量が激減してるようです。 ところで、重大なある変化に気づきました。 このサイトがグーグルの検索に出て […]
続・よくわからないクローラーがくる
先日、robots.txtで User-agent: MJ12bot User-agent: bot[\s_+:,\.\;\/\\-] User-agent: BaiDuSpider User-agent: robot […]
よくわからないクローラーが来る
最近HPにやたらと海外からのアクセスとスパムコメントが多いので解析を見てみたら、なんだかよくわからないbotがたくさん来てました。 実は、数ヶ月前にエラーを頻発させていたと思われるMJ12botだけは制限かけていたのです […]