网站是否需要禁止一些不知名的蜘蛛
重点导读:不需要!不管是除百度以外的搜索引擎蜘蛛,还是其他非搜索引擎的蜘蛛,通常都不需要去禁止!
发布人:沐风 - 更新时间:2022-07-22 08:18:50 - 地址:http://www.tangmengyun.com/seo/3540.html - 浏览:1864
问题:网站是否需要禁止一些不知名的蜘蛛?
回答:不需要!不管是除百度以外的搜索引擎蜘蛛,还是其他非搜索引擎的蜘蛛,通常都不需要去禁止!
为什么说网站不需要去禁止这些蜘蛛呢?我们不妨来简单分析下,通常蜘蛛分为真正的搜索引擎蜘蛛和非搜索引擎蜘蛛,基本上这些蜘蛛都不会给网站带来不好的影响。
百度以外的搜索引擎蜘蛛
有些朋友可能走了极端,就认定了百度搜索,所以干脆把其他搜索引擎的蜘蛛都给禁止了。这种做法肯定是不合理的,比如说沐风博客前端时间被降权,百度来的流量几乎为零了,但360和bing每天稳定要200+的流量。
大家不要小看任何一个搜索引擎,只要你的网站内容和用户体验好,那些看似市场份额不大的搜索引擎,也可以带来稳定的流量。沐风博客的页面数量少,总计不过3000多点,即便如此,在360和bing也能获得稳定搜索量。如果你的站点收录达到10万+,甚至百万+,那么是不是也能获得上千、过万的流量呢?
所以,不要随便去禁止任何一个搜索引擎的蜘蛛,禁止它们就等于放弃部分流量!
假的搜索引擎蜘蛛
除了真正的搜索引擎蜘蛛,其他所谓的蜘蛛就都是假的了!
这些假的蜘蛛是否需要禁止呢?沐风SEO认为也没有必要,原因有两个:
1、站长工具的蜘蛛
我们在使用站长工具查询的时候,站长工具往往会设置伪装的蜘蛛去爬行,这些蜘蛛看着像是搜索引擎蜘蛛,其实是假的。如果我们都统计禁止这些蜘蛛的话,在使用站长工具的时候就会出现问题。
2、纯假蜘蛛
比如那些采集工具,他们在采集的时候也会使用伪装的蜘蛛,想要真正禁止这些蜘蛛基本是不可能的,因为它们可以每次都不同!对于这样的假蜘蛛,是禁止不过来的。
总之而言,我们对于蜘蛛不需要那么苛刻,只要不给服务器造成压力就没问题。通常搜索引擎会去评估服务器的承载,会自己控制爬行抓取的量。而其他假的蜘蛛也不可能频繁的来抓取,因为我们的站点不可能有那么多信息值得别人这么做。而那些大站,有着高配置的服务器,这点蜘蛛抓取量影响不了他们。
网站是否需要禁止一些不知名的蜘蛛所属标签蜘蛛抓取 下的相关文章推荐
- 新站如何吸引蜘蛛,新站吸引百度蜘蛛的7个SEO技巧 - 浏览量:421
- 蜘蛛爬取频次跟什么有关,蜘蛛抓不到内容时会发生什么 - 浏览量:440
- 蜘蛛抓取跟权重有关系吗,哪些因素影响蜘蛛抓取 - 浏览量:279
- 搜索引擎不抓取站点的原因,如何解决 - 浏览量:531
- 怎么吸引蜘蛛来网站抓取内容 - 浏览量:1016
- 搜索引擎蜘蛛抓取页面的依据是什么 - 浏览量:1064
- 怎么让百度蜘蛛不抓取页面中的某个链接 - 浏览量:1355
- 蜘蛛抓取页面没有记录是怎么回事 - 浏览量:1200
- 普通用户看不到的页面蜘蛛会抓取收录吗 - 浏览量:1192
- 新站有哪些渠道可以吸引大量蜘蛛 - 浏览量:1806
上一篇>> SEO人员一定要有自己的博客下一篇>> 词库数量跟网站真实流量之间的差距
沐风博客最新文章
- 搜狐视频怎么做自媒体账号,有哪些自媒体账号类型 - 2024-04-24
- 百度爱采购入驻多少钱,如何联系百度爱采购官方客服 - 2024-04-24
- 快手直播怎么样,快手直播时长挣钱吗 - 2024-04-24
- 直播带货平台哪家好,哪个平台最适合卖食品 - 2024-04-24
- 4p营销理论的四个基本要素,营销4p理论的优缺点 - 2024-04-24
- 怎么利用外链给网站引流,有哪些平台适合做外链 - 2024-04-24
- 蜘蛛陷阱是什么意思,如何避免SEO蜘蛛陷阱 - 2024-04-24
- 精准长尾词是什么意思,精准长尾词怎么找 - 2024-04-24
- 什么是自媒体矩阵运营,自媒体矩阵引流技巧 - 2024-04-23
- SEO文章原创技巧,原创度多少的才算原创文章 - 2024-04-23