SemrushBot是SEMrush的服务器搜索蜘蛛
不过对中文网站没有什么用
SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。

频繁爬取

爬取内容页就算了,过分的是爬取搜索和目录页

对我的博客没有任何帮助

天天爬取出的一堆日志文件

产生不必要的流量支出

这个蜘蛛自己会类似于扫描器不受控


爬取 User-Agent

Mozilla/5.0 (compatible; SemrushBot/6~bl; +http://www.semrush.com/bot.html)

进入SEMrushBot自述可以看到自述文件,内容对中文站点的帮助并不大。


robots.txt 拦截

已经在站点 robots.txt 加入下方内容

User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /

官网截图

SemrushBot


热烈欢迎搜狗蜘蛛进场爬站
查看更多关于SemrushBot的内容