目标站点使用gzip或者中文编码
网络VIP账号爬虫工具执行时出错,首先使用浏览器访问检查页面样式是否变更,确认代码中样式规则仍然是适用的,后使用同样的方法访问站点首页正常,在访问账号页面时返回数据为乱码,使用curl
查看页面同样返回乱码,查看浏览器请求,返回的头部确实有压缩标记,处理方法,需要在得到返回内容后使用对应的解压缩即可,这里给出Gzip的实现,如下:
目标站点使用gzip或者中文编码
网络VIP账号爬虫工具执行时出错,首先使用浏览器访问检查页面样式是否变更,确认代码中样式规则仍然是适用的,后使用同样的方法访问站点首页正常,在访问账号页面时返回数据为乱码,使用curl
查看页面同样返回乱码,查看浏览器请求,返回的头部确实有压缩标记,处理方法,需要在得到返回内容后使用对应的解压缩即可,这里给出Gzip的实现,如下: