SemrushBot是SEMrush的服务器搜索蜘蛛
不过对中文网站没有什么用
SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。
频繁爬取
爬取内容页就算了，过分的是爬取搜索和目录页
对我的博客没有任何帮助
天天爬取出的一堆日志文件
产生不必要的流量支出
这个蜘蛛自己会类似于扫描器不受控
爬取 User-Agent
Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)
进入SEMrushBot自述可以看到自述文件，内容对中文站点的帮助并不大。
robots.txt 拦截
已经在站点 robots.txt 加入下方内容
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /官网截图
