巧用robot协议,处理404死链抓取

网站改版或者出问题以后,会产生大量的404死链,如果这些死链被收录了,不及时处理,一直任由其存在的话,可能会影响到关键词排名,所以,当网站死链被收录时,我们必须及时的加以处理。

今天,胖哥在这里就分享一个非常实用的小技巧,就是利用robot协议来阻止搜索引擎继续抓取死链。

整体操作步骤如下

1、找出被收录的死链(这个过程就不说了,每个人都有相应的方法,工具也好,手动排查也罢,基本上没有难度。),把这些死链集中整理成档,以备后用。

2、如下图所示,胖哥整理出了188seo这个网站上被收录的死链,这些都是网站改版之前的链接,当时收录了这些URL链接,但是快照一直没给放出来,改版以后,这些URL却被放出来了,所以,这就是上文中所说的死链被收录。

巧用robot协议,处理404死链抓取

3、通过观察,可以很清楚的看出,这些URL链接有一个共同的规则特征,都是以“art_tag-xxx.html”形式存在的,而我这个网站如今的URL规则已经更改了。所以,利用这个规则,可以直接写一个robot协议,让搜索引擎今后不再抓取这个规则形式的URL链接。

4、代码如下:Disallow: /art_tag-*.html,这个“*”表示通配。(至于robot文件怎么设置,这个在seo实战培训课程里面已经讲过了,胖哥这里就不赘述了,不会的朋友,可以自行百度一下。)

5、去百度站长平台,找到“Robots”,打开以后,点击“检测并更新”,如下所示,该规则下的URL链接已经被设置为“不允许被抓取”。

巧用robot协议,处理404死链抓取

如此,今后这个形式的URL就不会再被搜索引擎抓取了,也就不用再担心这个形式的URL链接会形成死链被收录的问题了。

那这个已经被收录的死链该怎么处理呢?很简单,按照百度官方给的“文件提交”操作方法,直接新建一个“silian.txt”的文本文件,然后把这些死链URL粘贴到文本中,再上传到服务器或者虚拟主机里,然后再提交这个文件,到此,完全搞定。

来源:seo优化培训  本文地址:https://www.188seo.com/show/83.html
文章转载或复制请并注明出处巧用robot协议,处理404死链抓取
seo培训

胖哥SEO,七年SEO实战经验,提供专业系统的SEO技术培训服务!

胖哥SEO,七年企业级网站SEO优化实战经验,擅长各类企业网站优化手法,向来喜欢以“黑帽手法提权重,白帽手法上排名”。
添加胖哥QQ或者微信:13189923,还能免费领取热门SEO行业视频教程资源。
seo培训
联系我们

联系我们

13189923

在线咨询: QQ交谈

邮箱: 13189923@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

添加微信
微信扫一扫

微信扫一扫联系胖哥

返回顶部