怎么让百度蜘蛛不抓取页面中的某个链接
重点导读:可以给具体的链接加上nofollow属性,这个属性会告诉百度蜘蛛不要去追踪这个页面,也就是禁止抓取了。
发布人:沐风 - 更新时间:2023-03-17 07:51:13 - 地址:http://www.tangmengyun.com/seo/3861.html - 浏览:1355
问题:怎么让百度蜘蛛不抓取页面中的某个链接?
回答:可以给具体的链接加上nofollow属性,这个属性会告诉百度蜘蛛不要去追踪这个页面,也就是禁止抓取了。
nofollow属性的作用就是禁止抓取,同时不会给这个页面传递权重。如果你想要百度蜘蛛不抓取页面上的某个链接,就可以通过这种方式去实现。
但是,百度搜索是否会严格遵循这个规则也得另说。
理论上,百度蜘蛛在抓取某个页面内容的时候,会提取出页面里面的链接,如果某个链接带了nofollow属性,那就会剔除这个链接。剩下的链接会返回到待抓取链接库,蜘蛛会根据具体规则对这些链接进行抓取。
这里还有两种情况需要考虑:1,百度蜘蛛是否会严格遵守nofollow协议,虽然链接加上了nofollow属性,但不保证蜘蛛一定不抓取;2,目标页面在其他地方是否还存在链接入口,比如页面A在页面B上禁止了百度蜘蛛抓取,但在页面C上有链接而没有做限制,这种情况下百度蜘蛛大概率还是会抓。
所以,我们不能百分百确保百度蜘蛛不抓取某个页面。事实上,对绝大部分站点来说,没有必须禁止蜘蛛抓取站内的某些页面,因为抓取频次通常都是够的。如果是站外页面链接,添加nofollow属性就可以了,更深层次的抓取情况不需要去深究。
除了在页面链接上添加nofollow属性,还可以在robots文件里面禁止百度蜘蛛抓取。但同样,如果目标页面在其他地方有链接入口,百度蜘蛛也大概率会抓取甚至收录。
怎么让百度蜘蛛不抓取页面中的某个链接所属标签蜘蛛抓取 下的相关文章推荐
- 新站如何吸引蜘蛛,新站吸引百度蜘蛛的7个SEO技巧 - 浏览量:421
- 蜘蛛爬取频次跟什么有关,蜘蛛抓不到内容时会发生什么 - 浏览量:440
- 蜘蛛抓取跟权重有关系吗,哪些因素影响蜘蛛抓取 - 浏览量:279
- 搜索引擎不抓取站点的原因,如何解决 - 浏览量:531
- 怎么吸引蜘蛛来网站抓取内容 - 浏览量:1015
- 搜索引擎蜘蛛抓取页面的依据是什么 - 浏览量:1064
- 蜘蛛抓取页面没有记录是怎么回事 - 浏览量:1200
- 普通用户看不到的页面蜘蛛会抓取收录吗 - 浏览量:1192
- 新站有哪些渠道可以吸引大量蜘蛛 - 浏览量:1805
- 搜索引擎抓取频率和男女朋友约会频率的相似点 - 浏览量:1438
上一篇>> 百度搜索对站点专业性的评分大大降低下一篇>> chatgpt写的SEO文章收录咋样
沐风博客最新文章
- 搜狐视频怎么做自媒体账号,有哪些自媒体账号类型 - 2024-04-24
- 百度爱采购入驻多少钱,如何联系百度爱采购官方客服 - 2024-04-24
- 快手直播怎么样,快手直播时长挣钱吗 - 2024-04-24
- 直播带货平台哪家好,哪个平台最适合卖食品 - 2024-04-24
- 4p营销理论的四个基本要素,营销4p理论的优缺点 - 2024-04-24
- 怎么利用外链给网站引流,有哪些平台适合做外链 - 2024-04-24
- 蜘蛛陷阱是什么意思,如何避免SEO蜘蛛陷阱 - 2024-04-24
- 精准长尾词是什么意思,精准长尾词怎么找 - 2024-04-24
- 什么是自媒体矩阵运营,自媒体矩阵引流技巧 - 2024-04-23
- SEO文章原创技巧,原创度多少的才算原创文章 - 2024-04-23