17站长网

17站长网 首页 网站 SEO优化 查看内容

robots是什么?robots mate和robots有什么区别

2023-8-4 14:49| 查看: 1294 |来源: 互联网

Robots是什么robots是网站跟蜘蛛间的协议,当访问站点时,它首先检查机器人是否存在于站点的根目录中。如果找到,蜘蛛就会按照该文件中的内容来确定访问的范围, ...

Robots是什么

robots是网站跟蜘蛛间的协议,当访问站点时,它首先检查机器人是否存在于站点的根目录中。如果找到,蜘蛛就会按照该文件中的内容来确定访问的范围,如果该文件不存在,那么搜索机器人就沿着链接抓取。一定要注意txt文件必须放在站点的根目录中,文件名必须为小写。

robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被搜索引擎访问的部分,或者指定搜索引擎只收录指定的内容。因此,机器人的优化将直接影响到搜索引擎对站点的收录。

只有在需要禁止抓取某些内容时,才写robots。一些服务器设置是问题:当机器人文件不存在时,它返回200个状态代码和一些错误消息,而不是404页面,这是因为搜索机器人误读了robots文件信息。

robots mate是什么

robots meta标签主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样, robots meta标签也是放在页面的head>中,专门用来告诉搜索引擎机器人如何抓取该页的内容。

follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

robots meta标签的缺省值是index和follow;

index指令告诉搜索机器人抓取该页面;

robots meta标签中没有大小写之分,name=“robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=“ baiduspider' content部分有四个指令选项index、noindex、follow、nofollow,指令间以“,”分隔。

Robots和robots mate的区别

目前来说,所有的搜索引擎都支持和遵守robots.txt的规定,但是支持robots mate的却比较少,大家可以酌情使用。

本文最后更新于 2023-8-4 14:49,某些文章具有时效性,若有错误或已失效,请在网站留言或联系站长:17tui@17tui.com
·END·
站长网微信号:w17tui,关注站长、创业、关注互联网人 - 互联网创业者营销服务中心

免责声明:本站部分文章和图片均来自用户投稿和网络收集,旨在传播知识,文章和图片版权归原作者及原出处所有,仅供学习与参考,请勿用于商业用途,如果损害了您的权利,请联系我们及时修正或删除。谢谢!

17站长网微信二维码

始终以前瞻性的眼光聚焦站长、创业、互联网等领域,为您提供最新最全的互联网资讯,帮助站长转型升级,为互联网创业者提供更加优质的创业信息和品牌营销服务,与站长一起进步!让互联网创业者不再孤独!

扫一扫,关注站长网微信

大家都在看

    热门排行

      最近更新

        返回顶部