BLEXBot 蜘蛛爬虫 屏蔽垃圾SEO蜘蛛

大量反复爬取站内链接，对站点造成了一个时间段的负担。可根据个人需求进行屏蔽处理。

爬取 User-Agent

Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)

robots.txt 拦截

User-agent: BLEXBot
Disallow: /

如何降低MJ12bot的速度?

您可以通过将以下内容添加到robots.txt文件中来轻松降低bot的速度：

User-agent: BLEXBot
Crawl-delay: 10

官网