robots的作用有以下几方面-武汉灵锐互动网络有限公司

18602741456/027-88660876

󰇴

robots的作用有以下几方面

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

1：有些页面不需要被搜录，不需要用户看见。比如某些内容是VIP内容，比如我们为了方便编辑，在后台设置产品页的模板，这些内容我们可以在后台禁止显示，可是蜘蛛还是会抓取，那么就搜录了垃圾页，影响整体权重。

2：精简内容，提高蜘蛛的爬行效率。小的企业站本来流量不高，排名不好，蜘蛛来的少，要是过多的去爬去一些没有意义的内容，可能分散了一些优质内容的爬去机率。禁止一些页面可以培养蜘蛛的爬行习惯

3：节约网站资源，减少不必要的流量。