当前位置: 沐风工作室 >> SEO教程 >>robots.txt文件,robots协议,robots.txt有什么作用

robots.txt文件,robots协议,robots.txt有什么作用

robots其实就是指Robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

而承载这些协议的文件就是robots.txt文件,那么robots.txt文件到底有啥用途,robots协议应该怎么写,有哪些注意事项,笔者在本文将详细跟大家介绍。

一、robots.txt文件的含义,robots.txt有什么作用

前面有提到,这个文本文件承载着robots协议,它告诉所有搜索引擎本网站哪些页面可以被抓取,哪些页面禁止抓取。这样做有两方面的意义:

1.保护隐私。有些页面信息不想或者说不能让外界看到,单搜索引擎并不知道这些情况,它还是会照常抓取、展现。如果我们通过设置robots做了限制,搜索引擎蜘蛛就会放弃抓取,外界就不能通过搜索引擎了解到这些隐秘信息。

2.调节页面抓取量。我们都知道每个网站蜘蛛抓取的配额都是有限的,如果我们通过robots.txt文件禁止一些不重要的页面被抓取,那么就节约了配额,让那些重要的页面得到更多的抓取机会。

二、robots.txt文件的写法

robots协议针对的就是允许或者不允许,另外也可以设置具体的搜索引擎,笔者认为正常情况下不用去区分搜索引擎,统一设置即可。

1. 禁止所有搜索引擎访问网站

User-agent: *

Disallow: /

2. 允许所有搜索引擎访问网站

User-agent: *

Allow: /

这是最基本的用法,robots协议的用法还有很多技术,笔者建议大家去仔细阅读robots协议

三、robots.txt文件相关注意事项

有朋友说我的网站没有什么要禁止抓取的,你就不要设置robots.txt文件了吧,理论上行得通。不过,笔者建议,即便全部开放也最好设置一个robots文件,如本站的文件:http://www.tangmengyun.com/robots.txt

PS:关注过本网站的朋友应该有印象,笔者说过本站是11月6号才有正式有蜘蛛抓取,为什么之前几天没有呢,问题就出在robots文件上!之前本站并没有设置这个文件,连续3天都没有蜘蛛抓取,笔者再三检查也没有发现有限制的地方,最后意识可能是robots的问题。在设置了robots.txt文件以后,当天便有蜘蛛正常抓取了。

四、robots.txt文件的位置

放在网站根目录下,在链接url的显示就是:http://www.abc.com/robots.txt,其中www.abc.com就是网站域名

五、robots文件生成

有朋友提到有没有直接生产robots文件的工具,笔者认为这完全没有必要,robots文件应该手动去具体设置,这样才能发挥robots.txt文件最大的作用。

本文只是对robots.txt文件做了大体意义上的讲解,更多robots协议请参考百度百科资料https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE/2483797。

已帮助 5531 人

本站内容大部分由沐风工作室原创,少部分内容来源于网络,如有侵权请与我们联系,我们会及时删除!
责任编辑:沐风 | 发布时间:2020年02月25日14点32分52秒 | 本文永久地址为 http://www.tangmengyun.com/seo/34.html

评论列表(参与对robots.txt文件,robots协议,robots.txt有什么作用一文的评论):

1.再见  2018-05-01 17:30:13 回复该评论
robots.txt协议也是有讲究的哦?

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

沐风工作室-提供SEO培训,网站优化,互联网推广创业等资讯和服务,主要业务为SEO培训、作文代写、演讲稿代写、网站原创文章代写、SEO伪原创文章代写以及微信阅读增量等。

针对百度等搜索引擎的SEO系统实战培训

网站文章代写:高质量原创文章及伪原创文章
注:文章皆为手动编辑,确保质量和效果

刷微信阅读:价低、稳定、无风险

作文代写:各种题材及类型的作文

演讲稿代写:各种场合的演讲稿代写

广告位

沐风SEO工作室

微信:mufeng1156、QQ:631998395

地址:广州番禺厦滘地铁启梦创业广场

沐风工作室 - 提供SEO培训、网站优化、互联网推广创业等资讯和服务