网站robots文件是否需要放网站地图
重点导读:网站robots.txt这个文件里面是否放网站地图是没有影响的,通常我们在网站正式上线以后,都会去提交sitemap文件页面,这样搜索引擎就能知道网站地图的存在,后面也会不断的来抓取。所以没有必要在robots文件里添加,当然添加了也是可以的。
发布人:沐风 - 发布时间:2020-11-04 11:04:02 - 地址:http://www.tangmengyun.com/seo/2400.html - 浏览:3314
回答:网站robots.txt这个文件里面是否放网站地图是没有影响的,通常我们在网站正式上线以后,都会去提交sitemap文件页面,这样搜索引擎就能知道网站地图的存在,后面也会不断的来抓取。所以没有必要在robots文件里添加,当然添加了也是可以的。
关于网站地图的问题,百度发了及时清理历史sitemap文件的公告,从这个公告中可以看出,目前搜索引擎对于网站页面的抓取不会太过依赖网站地图。相反,如果网站地图的文件过大,还会影响到搜索引擎对网站新内容页面的抓取。所以大家不要纠结要不要在robots文件里添加网站地图链接了,因为网站地图的作用已经明显降低,对于数据并且自动更新网站地图的网站来说,这个sitemap文件已经有了鸡肋的意思。
大家之所以想要在robots文件里面添加网站地图,就是担心怕某些页面不会被搜索引擎抓取到。其实不用担心,百度搜索的自动抓取功能已经再次上线,只要网站页面被打开,就会自动推送到百度搜索。至于蜘蛛抓取后收录还是不收录页面,这就要另行讨论了。
另外,前段时间百度搜索似乎在对robots这个功能进行升级,经常出现异常情况。这也说明百度会陆续对robots和网站地图等这些基本功能进行调整,所以我们不能继续墨守成规,过去使用的某些SEO技巧,放在现在未必就实用。
关于网站robots文件是否需要放网站地图的问题,沐风SEO就简单的说这么多。总之来说,网站地图的功能已经没有那么好,大家不用在这个问题上浪费时间,做好内容建设和用户体验才是王道。
网站robots文件是否需要放网站地图所属标签robots 下的相关文章推荐
- 网站robots文件可以加sitemap.txt吗 - 浏览量:2494
- 独立移动端网站有必要设置robots吗 - 浏览量:1729
- 为什么robots禁止抓取了但搜索引擎还会抓取 - 浏览量:4434
- robots.txt文件,robots协议,robots.txt有什么作用 - 浏览量:18514
- 网站一定要添加robots文件吗 - 浏览量:5082
- robots需要禁止后台目录吗 - 浏览量:4124
- 修改网站的ROBOTS.txt是否会影响蜘蛛爬取 - 浏览量:4622
- robots.txt文件放在哪里 - 浏览量:8814
- 网站误封了robots怎么办 - 浏览量:3643
- 为什么robots文件更新了很久蜘蛛还在抓取被禁止的文件 - 浏览量:3615
上一篇>> 做SEO是不能靠运气的下一篇>> 公众号文章阅读量刷完会下降吗
沐风博客最新文章
- 网站权重与流量的关系,还有什么其他因素影响流量 - 2024-03-28
- 营销理论有哪些,营销策略是什么 - 2024-03-28
- SEO标题优化最主要的是什么,标题字数有限制吗 - 2024-03-28
- 网站PV和UV哪个更重要,网站PV和UV比例多少合适 - 2024-03-28
- 百度不收录文章怎么办,百度未收录的文章怎么处理更好 - 2024-03-28
- 网站未备案会影响网站排名吗,网站备案后多久才能使用 - 2024-03-27
- 企业为什么要做SEO,企业如何做好SEO - 2024-03-27
- 微信视频号用户画像是什么,怎么看 - 2024-03-27
- SEO霸屏技术是什么,霸屏引流是骗局吗 - 2024-03-27
- 网站权重算法,百度搜索会根据什么来评估网站权重 - 2024-03-27