robots需要禁止后台目录吗
重点导读：这个问题很简单。因为网站后台对于普通用户来说没有意义，为了解决蜘蛛抓取次数，所以应该禁止搜索引擎对网站后台的抓取。
发布人:沐风 - 更新时间:2021-10-07 08:29:57 - 地址:http://www.tangmengyun.com/seo/1356.html - 浏览:4862
问题：robots需要禁止后台目录吗？
问题补充：在设置robots的时候不太确定是否要禁止后台目录，是否需要禁止呢？
回答：要知道这个问题，首先得搞清楚robots的意思和作用，robots的作用主要是告诉搜索引擎哪些页面可以抓取收录，哪些页面不要抓取收录。
对于网站后台，显然是不需要搜索引擎抓取和收录的，所以可以在robots设置禁止对网站后台的抓取。通常来说，只要能打开的页面链接搜索引擎蜘蛛都会去抓取，而蜘蛛抓取对于单个网站来说是有配额的，如果抓取后台的次数多了，就浪费了对其他有用页面的抓取，从这个方面来说，后台的页面也是需要禁止抓取的。
关于robots是否需要禁止后台目录的问题，笔者就简要的说这么多。总之来说，这个问题很简单。因为网站后台对于普通用户来说没有意义，为了解决蜘蛛抓取次数，所以应该禁止搜索引擎对网站后台的抓取。
robots需要禁止后台目录吗所属标签robots 下的相关文章推荐
- 网站robots文件可以加sitemap.txt吗 - 浏览量:3051
- 独立移动端网站有必要设置robots吗 - 浏览量:2236
- 为什么robots禁止抓取了但搜索引擎还会抓取 - 浏览量:5267
- robots.txt文件,robots协议,robots.txt有什么作用 - 浏览量:19518
- 网站一定要添加robots文件吗 - 浏览量:5901
- 修改网站的ROBOTS.txt是否会影响蜘蛛爬取 - 浏览量:5459
- robots.txt文件放在哪里 - 浏览量:9447
- 网站误封了robots怎么办 - 浏览量:4399
- 为什么robots文件更新了很久蜘蛛还在抓取被禁止的文件 - 浏览量:4393
- 网站robots文件是否需要放网站地图 - 浏览量:4075
上一篇>> 图片需要放在不同域名上的吗下一篇>> 博客外链带了nofollow还能用吗
沐风博客最新文章
- 文章断更对网站有什么影响 - 2024-09-14
- 很久没更新，沐风博客首页关键词上来了几个 - 2024-08-28
- 外链优化是什么，外链优化的原则和步骤 - 2024-07-25
- 微信视频号流量池规则和流量算法，分级标准及打开流量池的8大技巧 - 2024-07-24
- 百度搜索对技术性内容有特别的展示机制 - 2024-07-24
- 百度搜索的“普通收录”功能貌似没有作用 - 2024-07-21
- 百度搜索貌似在打击SEO优化 - 2024-07-19
- 抖音新账号播放也能做到10万+ - 2024-07-16
- 抖音直接在手机上发作品貌似没有标题 - 2024-07-08
- 微信视频号点赞的都是好友吗 - 2024-07-08
