什么是AhrefsBot？AhrefsBot 是一个 Web 爬虫，为 Ahrefs 在线营销工具集的 12 万亿链接数据库提供支持。它不断抓取网络以使用新链接填充我们的数据库并检查以前找到的数据的状态，以便为我们的用户提供最全面和最新的数据。来自网络的 Ahrefs Bot 收集的链接数据被...

Majestic是英国的专业搜索引擎，成百上千的企业使用13种语言和60多个国家/地区来绘制互联网地图，这些地图独立于基于消费者的搜索引擎。Majestic还支持其他合法技术，这些技术有助于了解不断变化的Web结构。网站所有者可以在majestuc上查看有关其自己网站的数据。爬取 User-A...

谷歌广告现在博客站点开始有了一定的流量，看很多站长使用谷歌广告，于是10月29号就申请了谷歌广告，没想到今天中午饭点时看到谷歌广告发来的恭喜邮件。目前站点侧栏及文章底部已投放谷歌广告。谷歌会根据站点内容来寻找合适的广告进行投放加载速度比国内的广告联盟慢许多（已采用延迟加载避免影响文章打开速度）...

今日发现异常爬虫蜘蛛大量访问LeaRM博客，经核实该蜘蛛属于商业SEO分析蜘蛛，我是个人博客就可以屏蔽，不需浪费过多的网站流量，毕竟我的主机网络是按量付费。如果允许爬取会增加不必要的开支。爬虫 User-AgentMozilla/5.0 (compatible; Barkrowler/0.9;...

SemrushBot是SEMrush的服务器搜索蜘蛛不过对中文网站没有什么用SEMrush 是一个强大的、全面的在线营销竞争情报平台,其中包括 SEO、PPC、社交媒体和视频广告研究。频繁爬取爬取内容页就算了，过分的是爬取搜索和目录页对我的博客没有任何帮助天天爬取出的一堆日志文件产生不必要的流...

搜狗Sogou是所有大搜索平台来LeaRM站点最慢的一个。今天 博客 已经走过了8个月，之前搜狗蜘蛛基本上都没来访过。搜狗蜘蛛从 10月15号开始每天陆陆续续的爬取了页面。搜狗起步收录会很慢，搜狗可能喜欢老站，大部分新站不稳定我是经过 将近8个月 时间之后，才开始稳定爬取收录。抓取频次展现索引...

》 2020年9月，博客MIP、AMP页面退出服务。》 为避免搜索引擎重复收录单篇文章，因此需要对路径进行调整》 原有mip,amp,index.php 路径设301跳转，然后在百度站长资源平台提交网站改版。站点设置 301 跳转我使用的是nginx 只需要在配置文件中增加配置#重定向设置 ...

9月6日，发现51链换链平台被DNS拦截。51link.com是个17年的老域名，站长权重3左右，几十万收录，之前经常在百度推广上看到。9月12日 51链换链平台 已经恢复正常，官方发公告声明网站由于之前解析被阿里云hold不给解析，造成6天不能正常，管理对阿里云的域名服务意见挺大的。被 Ho...

使用场景使用宝塔面板+已配置SSL证书使用 Nginx 作为服务端准备开启强制https但是按钮打开后刷新后失效系统调试环境CentOS7 64位宝塔 Linux面板7.4.5Nginx 1.8.1修改配置文件请复制下面的代码#SSL-START SSL相关配置，请勿删除或修改下一行带注释的4...

状态码含义100客户端应当继续发送请求。这个临时响应是用来通知客户端它的部分请求已经被服务器接收，且仍未被拒绝。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。服务器必须在请求完成后向客户端发送一个最终响应。101服务器已经理解了客户端的请求，并将通过Upgrade 消息...