今日发现异常爬虫蜘蛛大量访问LeaRM博客,经核实该蜘蛛属于商业SEO分析蜘蛛,我是个人博客就可以屏蔽,不需浪费过多的网站流量,毕竟我的主机网络是按量付费。如果允许爬取会增加不必要的开支。
爬虫 User-Agent
Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)
已经加入了UA黑名单进行屏蔽处理。
robots.txt屏蔽设置
User-agent: Barkrowler
Disallow: /
今日发现异常爬虫蜘蛛大量访问LeaRM博客,经核实该蜘蛛属于商业SEO分析蜘蛛,我是个人博客就可以屏蔽,不需浪费过多的网站流量,毕竟我的主机网络是按量付费。如果允许爬取会增加不必要的开支。
Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)
已经加入了UA黑名单进行屏蔽处理。
User-agent: Barkrowler
Disallow: /