分析网站日志找到页面不收录的原因

欢迎光临，沐风博客分享SEO等网络营销推广技术和资讯！

推荐：2024年百度SEO应该怎么做 - 跨境电商规避风险 | 视频号直播带货 | 直播带货选择什么产品

电商平台：淘宝、天猫、京东、闲鱼、视频号小店、拼多多、抖音小黄车、亚马逊、 shopify 自媒体：微信视频号、快手视频、搜狐自媒体、百家号、今日头条、小红书

当前位置：沐风博客 >> SEO技术 >>正文

分析网站日志找到页面不收录的原因

重点导读：影响页面收录的因素很多，其中最基本的因素是搜索蜘蛛抓取，倘若没有抓取，那断然是不会被收录的！若是页面被蜘蛛成功抓取，但还是没有被收录，这就说明页面的内容质量不高。所以，如果我们遇到页面收录不好的情况，首先应该分析网站日志，若是抓取没问题，再去分析页面内容。
发布人:沐风 - 更新时间:2022-02-14 07:58:45 - 地址:http://www.tangmengyun.com/seo/341.html - 浏览:5268

昨天有朋友问到，为什么最近更新的商品页面百度都不收录，该朋友认为是页面结构出了问题。笔者习惯找依据，于是让朋友发来近几日的网站日志，果不其然，在网站日志里找到了页面不被百度收录的原因，更新的商品页面压根没有被百度蜘蛛抓取！连抓取都没有，何来页面收录呢！

笔者简要的分析网站日志，该站每天百度抓取量有7000多次，但绝大部分，甚至是98%以上的抓取都集中在数据库信息、css信息、js信息上，而商品页面一条抓取记录都没有！答案很明显了，之所以更新的商品页面没有被百度收录，是因为这些页面没有被抓取。

笔者分享这个案例的目的是想告诉大家，网站在优化过程中若是遇到问题，不要凭空去想原因，应该通过必要的数据分析科学的找到问题所在，从而调整措施。

朋友将该网站做了seo外包，每次问到为什么页面不收录及如何处理时，对方都回答主动提交链接！然而链接提交了仍然没有解决问题，这种回答是很不负责任的！

百度蜘蛛在某种意义上说有抓取记忆，如果长时间大量的抓取某类型的信息，那么它抓取的份额就会倾向于这类信息。这也能说明一个问题：为什么有些网站的某些栏目收录很好，而有些栏目基本不收录。

在分析完网站日志后，笔者又打开了网站的robots文件，发现robots文件里允许了图片的抓取，同时又没有限制对于css文件、js文件的抓取。这种设置方法是存在问题的，为此，笔者依据分析网站日志得到的信息，重新对robots文件进行了修改。

总结，影响页面收录的因素很多，其中最基本的因素是搜索蜘蛛抓取，倘若没有抓取，那断然是不会被收录的！若是页面被蜘蛛成功抓取，但还是没有被收录，这就说明页面的内容质量不高。所以，如果我们遇到页面收录不好的情况，首先应该分析网站日志，若是抓取没问题，再去分析页面内容。