屏蔽相同页面

搜索引擎是个喜新厌旧的东西，不会收录重复的页面或已有的页面，即使收录了后期也会删掉，所以一开始我们可以打开robots文件，写禁止蜘蛛来读取这个页面的代码，给蜘蛛留下个好的印象，反之印象会大大减少，影响以后蜘蛛来爬行。

网站地图提交

Robots文件还支持网站地图提交功能，提交了网站地图可以让蜘蛛更好地爬行网站内容，让蜘蛛更快收录你的文章。

删除文件时使用Robots文件禁止蜘蛛访问

当你删除一个目录时需要使用Robots文件禁止蜘蛛对此目录的访问，这样可以避免死链接的形成。当然禁止搜索引擎收录的还有你网站的一些图片目录，js目录....，如果蜘蛛读到没用信息的时候也会降低一点权重。

维护网站安全

利用robots文件可以保护网站的安全，如果不用robots文件屏蔽掉蜘蛛就会抓取后台页面文件，蜘蛛就会默认收录此页面，让黑客有机可趁。