17站长网 网站首页 网站运营 SEO优化 查看内容

Robots生效要多久?

2022-11-22 18:33| 查看: 700| 作者: 佚名|来源: 互联网

有时候我们建站前期忘记写robots.txt文件了,很多我们不想让搜索引擎收录的内容却被收录了,这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录 ...

  有时候我们建站前期忘记写robots.txt文件了,很多我们不想让搜索引擎收录的内容却被收录了,这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态,到底robots生效要多久呢?

  百度lee曾在公开场合说过:不同的站点略有不同,但通常在几天内陆续生效。

  其实我们可以假想下robots生效的过程:

  1.蜘蛛发现robots文件修改并将信息传回

  2.分析修改前后的robots文件

  3.删除不允许被收录的索引数据

  这个过程中肯能还会存在其他的一些步骤,然而由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同,最终导致的结果就是robots的生效时间不同。

  通过以上分析我们可以得出robots的生效时间并不是一定的,如果你的robots更改后很久都没有生效的话,可以去这里投诉:tousu.baidu.com


本文最后更新于 2022-11-22 18:33,某些文章具有时效性,若有错误或已失效,请在网站留言或联系站长:17tui@17tui.com
·END·
站长网微信号:w17tui,关注站长、创业、关注互联网人 - 互联网创业者营销服务中心

免责声明:本站部分文章和图片均来自用户投稿和网络收集,旨在传播知识,文章和图片版权归原作者及原出处所有,仅供学习与参考,请勿用于商业用途,如果损害了您的权利,请联系我们及时修正或删除。谢谢!

17站长网微信二维码

始终以前瞻性的眼光聚焦站长、创业、互联网等领域,为您提供最新最全的互联网资讯,帮助站长转型升级,为互联网创业者提供更加优质的创业信息和品牌营销服务,与站长一起进步!让互联网创业者不再孤独!

扫一扫,关注站长网微信

大家都在看

返回顶部