robots.txt文件,robots协议,robots.txt有什么作用

欢迎光临，沐风博客分享SEO等网络营销推广技术和资讯！

推荐：2024年百度SEO应该怎么做 - 跨境电商规避风险 | 视频号直播带货 | 直播带货选择什么产品

电商平台：淘宝、天猫、京东、闲鱼、视频号小店、拼多多、抖音小黄车、亚马逊、 shopify 自媒体：微信视频号、快手视频、搜狐自媒体、百家号、今日头条、小红书

当前位置：沐风博客 >> SEO教程 >>正文

robots.txt文件,robots协议,robots.txt有什么作用

重点导读：robots其实就是指Robots协议，Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
发布人:沐风 - 更新时间:2021-10-11 08:24:34 - 地址:http://www.tangmengyun.com/seo/34.html - 浏览:18576

robots其实就是指Robots协议，Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

而承载这些协议的文件就是robots.txt文件，那么robots.txt文件到底有啥用途，robots协议应该怎么写，有哪些注意事项，笔者在本文将详细跟大家介绍。

一、robots.txt文件的含义，robots.txt有什么作用

前面有提到，这个文本文件承载着robots协议，它告诉所有搜索引擎本网站哪些页面可以被抓取，哪些页面禁止抓取。这样做有两方面的意义：

1.保护隐私。有些页面信息不想或者说不能让外界看到，单搜索引擎并不知道这些情况，它还是会照常抓取、展现。如果我们通过设置robots做了限制，搜索引擎蜘蛛就会放弃抓取，外界就不能通过搜索引擎了解到这些隐秘信息。

2.调节页面抓取量。我们都知道每个网站蜘蛛抓取的配额都是有限的，如果我们通过robots.txt文件禁止一些不重要的页面被抓取，那么就节约了配额，让那些重要的页面得到更多的抓取机会。

二、robots.txt文件的写法

robots协议针对的就是允许或者不允许，另外也可以设置具体的搜索引擎，笔者认为正常情况下不用去区分搜索引擎，统一设置即可。

1. 禁止所有搜索引擎访问网站

User-agent: *

Disallow: /

2. 允许所有搜索引擎访问网站

User-agent: *

Allow: /

这是最基本的用法，robots协议的用法还有很多技术，笔者建议大家去仔细阅读robots协议。

三、robots.txt文件相关注意事项

有朋友说我的网站没有什么要禁止抓取的，你就不要设置robots.txt文件了吧，理论上行得通。不过，笔者建议，即便全部开放也最好设置一个robots文件，如本站的文件：http://www.tangmengyun.com/robots.txt。

PS：关注过本网站的朋友应该有印象，笔者说过本站是11月6号才有正式有蜘蛛抓取，为什么之前几天没有呢，问题就出在robots文件上！之前本站并没有设置这个文件，连续3天都没有蜘蛛抓取，笔者再三检查也没有发现有限制的地方，最后意识可能是robots的问题。在设置了robots.txt文件以后，当天便有蜘蛛正常抓取了。