修改网站的ROBOTS.txt是否会影响蜘蛛爬取

欢迎光临，沐风博客分享SEO等网络营销推广技术和资讯！

推荐：2024年百度SEO应该怎么做 - 跨境电商规避风险 | 视频号直播带货 | 直播带货选择什么产品

电商平台：淘宝、天猫、京东、闲鱼、视频号小店、拼多多、抖音小黄车、亚马逊、 shopify 自媒体：微信视频号、快手视频、搜狐自媒体、百家号、今日头条、小红书

当前位置：沐风博客 >> SEO问答 >>正文

修改网站的ROBOTS.txt是否会影响蜘蛛爬取

重点导读：关于robots.txt和蜘蛛爬取的问题，笔者在本文简要的给大家做了说明。总之来说，修改网站的robots.txt会影响蜘蛛爬取，至于是减少抓取量还是增加抓取量，这需要具体分析对robots.txt做了怎样的修改。另外robots.txt里面还可以设置网站地图，这对于网站页面收录有帮助。
发布人:沐风 - 更新时间:2021-09-07 07:51:52 - 地址:http://www.tangmengyun.com/seo/946.html - 浏览:4676

问题：修改网站的robots.txt是否会影响蜘蛛爬取？

回答：通常情况下搜索引擎会遵守robots文件，如果我们在robots.txt文件里面对某些页面做了限制，那么搜索引擎蜘蛛是不会去抓取的，也就是说robots.txt文件会影响到蜘蛛抓取。对于robots.txt和蜘蛛爬取，有以下两个方面的问题大家需要注意。

一、robots.txt限制整站抓取，搜索引擎还是会收录首页

很多朋友提到明明自己的网站，在robots.txt文件里限制了所有搜索引擎蜘蛛抓取，但是百度还是收录了首页。这种情况是正常的，但是大家要注意的是，虽然蜘蛛抓取了页面，也收录了，但是百度快照里面是没有内容的，如果我们去点击百度快照，会跳转至百度搜索资源平台。也就是说，虽然蜘蛛抓取了，但是并没有保存页面文件。

二、搜索引擎蜘蛛对robots.txt有反应时间

我们在正式开放蜘蛛抓取之前，通常会设置robots.txt文件，限制所有搜索引擎蜘蛛抓取。但是有朋友反映，在放开了robots.txt文件限制以后，蜘蛛还是不过来抓取，这其实就是搜索引擎蜘蛛对robots.txt文件的反应需要时间，这个时间通常是一个星期以内。

我们再回到robots.txt和蜘蛛爬取上面来，总体上搜索引擎蜘蛛会严格遵守robots.txt文件协议，对于robots.txt文件限制的页面，蜘蛛不糊去抓取。所有对于那些没有搜索需求的页面，我们可以在robots.txt文件里面进行设置，这样就可以集中抓取频次和防止权重分散。当然，我们可以把robots.txt文件和nofollow标签结合起来使用。

另外大家要注意蜘蛛对robots.txt文件的反映时间，不要因为几天蜘蛛没有来抓取，就怀疑是网站其他地方出现了问题，应该耐心等待。

关于robots.txt和蜘蛛爬取的问题，笔者在本文简要的给大家做了说明。总之来说，修改网站的robots.txt会影响蜘蛛爬取，至于是减少抓取量还是增加抓取量，这需要具体分析对robots.txt做了怎样的修改。另外robots.txt里面还可以设置网站地图，这对于网站页面收录有帮助。