今日发现异常爬虫蜘蛛大量访问LeaRM博客,经核实该蜘蛛属于商业SEO分析蜘蛛,我是个人博客就可以屏蔽,不需浪费过多的网站流量,毕竟我的主机网络是按量付费。如果允许爬取会增加不必要的开支。
Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)
已经加入了UA黑名单进行屏蔽处理。
User-agent: Barkrowler Disallow: /
相关:垃圾SemrushBot爬虫 搜狗蜘蛛进场