robots.txt文件,robots协议,robots.txt有什么作用
重点导读:robots其实就是指Robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
发布人:沐风 - 更新时间:2021-10-11 08:24:34 - 地址:http://www.tangmengyun.com/seo/34.html - 浏览:19518
robots其实就是指Robots协议,Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
而承载这些协议的文件就是robots.txt文件,那么robots.txt文件到底有啥用途,robots协议应该怎么写,有哪些注意事项,笔者在本文将详细跟大家介绍。
一、robots.txt文件的含义,robots.txt有什么作用
前面有提到,这个文本文件承载着robots协议,它告诉所有搜索引擎本网站哪些页面可以被抓取,哪些页面禁止抓取。这样做有两方面的意义:
1.保护隐私。有些页面信息不想或者说不能让外界看到,单搜索引擎并不知道这些情况,它还是会照常抓取、展现。如果我们通过设置robots做了限制,搜索引擎蜘蛛就会放弃抓取,外界就不能通过搜索引擎了解到这些隐秘信息。
2.调节页面抓取量。我们都知道每个网站蜘蛛抓取的配额都是有限的,如果我们通过robots.txt文件禁止一些不重要的页面被抓取,那么就节约了配额,让那些重要的页面得到更多的抓取机会。
二、robots.txt文件的写法
robots协议针对的就是允许或者不允许,另外也可以设置具体的搜索引擎,笔者认为正常情况下不用去区分搜索引擎,统一设置即可。
1. 禁止所有搜索引擎访问网站
User-agent: *
Disallow: /
2. 允许所有搜索引擎访问网站
User-agent: *
Allow: /
这是最基本的用法,robots协议的用法还有很多技术,笔者建议大家去仔细阅读robots协议。
三、robots.txt文件相关注意事项
有朋友说我的网站没有什么要禁止抓取的,你就不要设置robots.txt文件了吧,理论上行得通。不过,笔者建议,即便全部开放也最好设置一个robots文件,如本站的文件:http://www.tangmengyun.com/robots.txt。
PS:关注过本网站的朋友应该有印象,笔者说过本站是11月6号才有正式有蜘蛛抓取,为什么之前几天没有呢,问题就出在robots文件上!之前本站并没有设置这个文件,连续3天都没有蜘蛛抓取,笔者再三检查也没有发现有限制的地方,最后意识可能是robots的问题。在设置了robots.txt文件以后,当天便有蜘蛛正常抓取了。
四、robots.txt文件的位置
放在网站根目录下,在链接url的显示就是:http://www.abc.com/robots.txt,其中www.abc.com就是网站域名。
五、robots文件生成
有朋友提到有没有直接生产robots文件的工具,笔者认为这完全没有必要,robots文件应该手动去具体设置,这样才能发挥robots.txt文件最大的作用。
robots.txt文件,robots协议,robots.txt有什么作用所属标签robots 下的相关文章推荐
- 网站robots文件可以加sitemap.txt吗 - 浏览量:3051
- 独立移动端网站有必要设置robots吗 - 浏览量:2236
- 为什么robots禁止抓取了但搜索引擎还会抓取 - 浏览量:5266
- 网站一定要添加robots文件吗 - 浏览量:5900
- robots需要禁止后台目录吗 - 浏览量:4860
- 修改网站的ROBOTS.txt是否会影响蜘蛛爬取 - 浏览量:5458
- robots.txt文件放在哪里 - 浏览量:9447
- 网站误封了robots怎么办 - 浏览量:4398
- 为什么robots文件更新了很久蜘蛛还在抓取被禁止的文件 - 浏览量:4392
- 网站robots文件是否需要放网站地图 - 浏览量:4073
上一篇>> 网站一定要添加robots文件吗下一篇>> 很多灰色反链的老域名对网站影响大吗
沐风博客最新文章
- 文章断更对网站有什么影响 - 2024-09-14
- 很久没更新,沐风博客首页关键词上来了几个 - 2024-08-28
- 外链优化是什么,外链优化的原则和步骤 - 2024-07-25
- 微信视频号流量池规则和流量算法,分级标准及打开流量池的8大技巧 - 2024-07-24
- 百度搜索对技术性内容有特别的展示机制 - 2024-07-24
- 百度搜索的“普通收录”功能貌似没有作用 - 2024-07-21
- 百度搜索貌似在打击SEO优化 - 2024-07-19
- 抖音新账号播放也能做到10万+ - 2024-07-16
- 抖音直接在手机上发作品貌似没有标题 - 2024-07-08
- 微信视频号点赞的都是好友吗 - 2024-07-08
评论列表(参与对robots.txt文件,robots协议,robots.txt有什么作用一文的评论):