如果网站出现DNS异常，就会出现IP出现错误了，再或者就是搜索引擎将你的网站停封，这样就无法解析你的网站了，所以会出现DNS异常，导致抓取也就不正常了。
网站的结构
在挑选域名的时候要找一个域名比较短的，并且目录层级一定要控制在三层之内，层级太深的话，会影响蜘蛛的抓取。
网站地图Sitemap
主动提交网站地图，确保网站url在网站地图中。
网站带跳转
当我们更新网站内容或者修改了网站上的内容，如果是做了301或者302跳转设置，这样网站就会出现配置错误，会导致抓取失败。
内容的更新频率和原创性
更新网站内容时，尽量写原创文章。对于蜘蛛来说，喜欢原创程度高的文章，更新频率要控制在一定的频率。
301和302重新定向错误
当搜索引擎在抓取网站时，如果出现跳转5次以上，就会出现重新定向错误，出现了定向错误，网站这样就会抓取失败。
页面速度
移动优先牵引，其中重要的指标就是页面首次加载，控制在3秒内。
