今日发现异常爬虫蜘蛛大量访问LeaRM博客,经核实该蜘蛛属于商业SEO分析蜘蛛,我是个人博客就可以屏蔽,不需浪费过多的网站流量,毕竟我的主机网络是按量付费。如果允许爬取会增加不必要的开支。

爬虫 User-Agent

Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)

已经加入了UA黑名单进行屏蔽处理。

robots.txt屏蔽设置

User-agent: Barkrowler
Disallow: /

蜘蛛官网证明(已翻译中文)

中文翻译


相关:垃圾SemrushBot爬虫 搜狗蜘蛛进场