robots需要禁止后台目录吗
重点导读:这个问题很简单。因为网站后台对于普通用户来说没有意义,为了解决蜘蛛抓取次数,所以应该禁止搜索引擎对网站后台的抓取。
发布人:沐风 - 更新时间:2021-10-07 08:29:57 - 地址:http://www.tangmengyun.com/seo/1356.html - 浏览:4179
问题:robots需要禁止后台目录吗?
问题补充:在设置robots的时候不太确定是否要禁止后台目录,是否需要禁止呢?
回答:要知道这个问题,首先得搞清楚robots的意思和作用,robots的作用主要是告诉搜索引擎哪些页面可以抓取收录,哪些页面不要抓取收录。
对于网站后台,显然是不需要搜索引擎抓取和收录的,所以可以在robots设置禁止对网站后台的抓取。通常来说,只要能打开的页面链接搜索引擎蜘蛛都会去抓取,而蜘蛛抓取对于单个网站来说是有配额的,如果抓取后台的次数多了,就浪费了对其他有用页面的抓取,从这个方面来说,后台的页面也是需要禁止抓取的。
关于robots是否需要禁止后台目录的问题,笔者就简要的说这么多。总之来说,这个问题很简单。因为网站后台对于普通用户来说没有意义,为了解决蜘蛛抓取次数,所以应该禁止搜索引擎对网站后台的抓取。
robots需要禁止后台目录吗所属标签robots 下的相关文章推荐
- 网站robots文件可以加sitemap.txt吗 - 浏览量:2544
- 独立移动端网站有必要设置robots吗 - 浏览量:1773
- 为什么robots禁止抓取了但搜索引擎还会抓取 - 浏览量:4492
- robots.txt文件,robots协议,robots.txt有什么作用 - 浏览量:18574
- 网站一定要添加robots文件吗 - 浏览量:5132
- 修改网站的ROBOTS.txt是否会影响蜘蛛爬取 - 浏览量:4676
- robots.txt文件放在哪里 - 浏览量:8847
- 网站误封了robots怎么办 - 浏览量:3696
- 为什么robots文件更新了很久蜘蛛还在抓取被禁止的文件 - 浏览量:3675
- 网站robots文件是否需要放网站地图 - 浏览量:3376
上一篇>> 图片需要放在不同域名上的吗下一篇>> 博客外链带了nofollow还能用吗
沐风博客最新文章
- 百度商桥是干什么用的,百度商桥一个账号能几人用 - 2024-04-20
- 净销售额什么意思,净销售额的公式 - 2024-04-20
- 抖音POI是什么意思,可以设置POI地址吗/如何设置 - 2024-04-20
- 今日头条怎么赚收益,如何发布原创文章 - 2024-04-20
- 客户画像的作用,如何使用客户画像 - 2024-04-20
- 个人公众号盈利模式,公众号变现容易吗 - 2024-04-19
- 电商运营是做什么的,需要掌握哪些技能 - 2024-04-19
- 搜索引擎优化效果怎么样,如何提升搜索引擎优化效果 - 2024-04-19
- 京东店铺怎么开通,京东店铺保证金多少钱 - 2024-04-19
- 网站策划书怎么写好看,网站策划书模板范文 - 2024-04-19