SEO怎么禁止百度蜘蛛爬某个文件夹
重点导读:禁止搜索引擎抓取网站页面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某个文件夹,可以用下面这段代码:
User-agent: Baiduspider
Disallow: wenjianjia/
发布人:沐风 - 更新时间:2021-12-02 08:31:19 - 地址:http://www.tangmengyun.com/seo/2161.html - 浏览:4364
问题:SEO怎么禁止百度蜘蛛爬某个文件夹?
回答:禁止搜索引擎抓取网站页面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某个文件夹,可以用下面这段代码:
User-agent: Baiduspider
Disallow: wenjianjia/
这里简单解释下几个字段概念:
Baiduspider:这个是百度搜索引擎蜘蛛;
Disallow:这表示禁止,不需要蜘蛛抓取;
wenjianjia/:这里替换你要禁止百度蜘蛛爬行的文件夹名,这里要注意下,如果在文件夹名称的后面加了 / ,就表示禁止抓取文件夹下面的页面,比如说www.test.com/wenjianjia/abc.html,但是www.test.com/wenjianjia/这个栏目页面还是会被抓取的。所以,想要www.test.com/wenjianjia/也不被抓取的话,就要去掉后面的 / ,也就是下面这样的代码:
User-agent: Baiduspider
Disallow: wenjianjia
关于SEO怎么禁止百度蜘蛛爬某个文件夹的问题,本文就简单的介绍到这里,总之使用robots文件是比较方便的,大家可以使用上面的代码,修改成自己的文件夹名称即可。如果要禁止两个文件夹,那就多复制一行,比如:
User-agent: Baiduspider
Disallow: wenjianjia_one/
Disallow: wenjianjia_two/
SEO怎么禁止百度蜘蛛爬某个文件夹所属标签屏蔽蜘蛛抓取 下的相关文章推荐
- 网站需要屏蔽哪些垃圾蜘蛛 - 浏览量:921
- 图片为主的栏目要不要屏蔽蜘蛛抓取 - 浏览量:3666
- 如何禁止百度收录某个页面 - 浏览量:8838
- z-blog网站robots怎么设置 - 浏览量:4649
上一篇>> SEO自然排名与竞价排名有哪些区别下一篇>> 文章加内链能加快关键词排名吗
沐风博客最新文章
- 百度商桥是干什么用的,百度商桥一个账号能几人用 - 2024-04-20
- 净销售额什么意思,净销售额的公式 - 2024-04-20
- 抖音POI是什么意思,可以设置POI地址吗/如何设置 - 2024-04-20
- 今日头条怎么赚收益,如何发布原创文章 - 2024-04-20
- 客户画像的作用,如何使用客户画像 - 2024-04-20
- 个人公众号盈利模式,公众号变现容易吗 - 2024-04-19
- 电商运营是做什么的,需要掌握哪些技能 - 2024-04-19
- 搜索引擎优化效果怎么样,如何提升搜索引擎优化效果 - 2024-04-19
- 京东店铺怎么开通,京东店铺保证金多少钱 - 2024-04-19
- 网站策划书怎么写好看,网站策划书模板范文 - 2024-04-19