SEO怎么禁止百度蜘蛛爬某个文件夹
重点导读：禁止搜索引擎抓取网站页面，最常用的就是使用robots文件，禁止百度蜘蛛爬行和抓取某个文件夹，可以用下面这段代码：
User-agent: Baiduspider
Disallow: wenjianjia/
发布人:沐风 - 更新时间:2021-12-02 08:31:19 - 地址:http://www.tangmengyun.com/seo/2161.html - 浏览:5071
问题：SEO怎么禁止百度蜘蛛爬某个文件夹？
回答：禁止搜索引擎抓取网站页面，最常用的就是使用robots文件，禁止百度蜘蛛爬行和抓取某个文件夹，可以用下面这段代码：
User-agent: Baiduspider
Disallow: wenjianjia/
这里简单解释下几个字段概念：
Baiduspider：这个是百度搜索引擎蜘蛛；
Disallow：这表示禁止，不需要蜘蛛抓取；
wenjianjia/：这里替换你要禁止百度蜘蛛爬行的文件夹名，这里要注意下，如果在文件夹名称的后面加了 / ，就表示禁止抓取文件夹下面的页面，比如说www.test.com/wenjianjia/abc.html，但是www.test.com/wenjianjia/这个栏目页面还是会被抓取的。所以，想要www.test.com/wenjianjia/也不被抓取的话，就要去掉后面的 / ，也就是下面这样的代码：
User-agent: Baiduspider
Disallow: wenjianjia
关于SEO怎么禁止百度蜘蛛爬某个文件夹的问题，本文就简单的介绍到这里，总之使用robots文件是比较方便的，大家可以使用上面的代码，修改成自己的文件夹名称即可。如果要禁止两个文件夹，那就多复制一行，比如：
User-agent: Baiduspider
Disallow: wenjianjia_one/
Disallow: wenjianjia_two/
SEO怎么禁止百度蜘蛛爬某个文件夹所属标签屏蔽蜘蛛抓取 下的相关文章推荐
- 网站需要屏蔽哪些垃圾蜘蛛 - 浏览量:1446
- 图片为主的栏目要不要屏蔽蜘蛛抓取 - 浏览量:4454
- 如何禁止百度收录某个页面 - 浏览量:9578
- z-blog网站robots怎么设置 - 浏览量:5392
上一篇>> SEO自然排名与竞价排名有哪些区别下一篇>> 文章加内链能加快关键词排名吗
沐风博客最新文章
- 文章断更对网站有什么影响 - 2024-09-14
- 很久没更新，沐风博客首页关键词上来了几个 - 2024-08-28
- 外链优化是什么，外链优化的原则和步骤 - 2024-07-25
- 微信视频号流量池规则和流量算法，分级标准及打开流量池的8大技巧 - 2024-07-24
- 百度搜索对技术性内容有特别的展示机制 - 2024-07-24
- 百度搜索的“普通收录”功能貌似没有作用 - 2024-07-21
- 百度搜索貌似在打击SEO优化 - 2024-07-19
- 抖音新账号播放也能做到10万+ - 2024-07-16
- 抖音直接在手机上发作品貌似没有标题 - 2024-07-08
- 微信视频号点赞的都是好友吗 - 2024-07-08
