欢迎光临，沐风博客分享SEO和微信公众号/视频号等推广技术！
当前位置： 沐风博客 >> SEO问答 >>正文 沐风博客，提供微信公众号阅读量、视频号点赞等服务，微信或者QQ联系

网站是否需要禁止一些不知名的蜘蛛

重点导读：不需要！不管是除百度以外的搜索引擎蜘蛛，还是其他非搜索引擎的蜘蛛，通常都不需要去禁止！
发布人:沐风 - 更新时间:2022-07-22 08:18:50 - 地址:http://www.tangmengyun.com/seo/3540.html - 浏览:2672

问题：网站是否需要禁止一些不知名的蜘蛛？

回答：不需要！不管是除百度以外的搜索引擎蜘蛛，还是其他非搜索引擎的蜘蛛，通常都不需要去禁止！

为什么说网站不需要去禁止这些蜘蛛呢？我们不妨来简单分析下，通常蜘蛛分为真正的搜索引擎蜘蛛和非搜索引擎蜘蛛，基本上这些蜘蛛都不会给网站带来不好的影响。

百度以外的搜索引擎蜘蛛

有些朋友可能走了极端，就认定了百度搜索，所以干脆把其他搜索引擎的蜘蛛都给禁止了。这种做法肯定是不合理的，比如说沐风博客前端时间被降权，百度来的流量几乎为零了，但360和bing每天稳定要200+的流量。

大家不要小看任何一个搜索引擎，只要你的网站内容和用户体验好，那些看似市场份额不大的搜索引擎，也可以带来稳定的流量。沐风博客的页面数量少，总计不过3000多点，即便如此，在360和bing也能获得稳定搜索量。如果你的站点收录达到10万+，甚至百万+，那么是不是也能获得上千、过万的流量呢？

所以，不要随便去禁止任何一个搜索引擎的蜘蛛，禁止它们就等于放弃部分流量！

假的搜索引擎蜘蛛

除了真正的搜索引擎蜘蛛，其他所谓的蜘蛛就都是假的了！

这些假的蜘蛛是否需要禁止呢？沐风SEO认为也没有必要，原因有两个：

1、站长工具的蜘蛛

我们在使用站长工具查询的时候，站长工具往往会设置伪装的蜘蛛去爬行，这些蜘蛛看着像是搜索引擎蜘蛛，其实是假的。如果我们都统计禁止这些蜘蛛的话，在使用站长工具的时候就会出现问题。

2、纯假蜘蛛

比如那些采集工具，他们在采集的时候也会使用伪装的蜘蛛，想要真正禁止这些蜘蛛基本是不可能的，因为它们可以每次都不同！对于这样的假蜘蛛，是禁止不过来的。

总之而言，我们对于蜘蛛不需要那么苛刻，只要不给服务器造成压力就没问题。通常搜索引擎会去评估服务器的承载，会自己控制爬行抓取的量。而其他假的蜘蛛也不可能频繁的来抓取，因为我们的站点不可能有那么多信息值得别人这么做。而那些大站，有着高配置的服务器，这点蜘蛛抓取量影响不了他们。


网站是否需要禁止一些不知名的蜘蛛所属标签蜘蛛抓取 下的相关文章推荐

上一篇>> SEO人员一定要有自己的博客
下一篇>> 词库数量跟网站真实流量之间的差距

沐风博客最新文章

沐风博客

SEO编辑教程

企业网站优化视频教程

网站分类

SEO百科词条

互联网时代，搜索引擎/微信公众号/抖音/电商平台等给我们带来了诸多机遇，如何才能更好的把握，这就需要我们掌握必要的知识和技能！沐风博客分享SEO等网络营销推广技术和资讯，帮助大家更好的在互联网发展！ - ICP备案号 湘ICP备2022004497号