【问题】
在用python抓取网页的时候,很多网页返回的html的数据量比较大,比如好几十KB,
希望在提交http的请求的时候,支持Gzip压缩,已减少数据量传输。
【解决过程】
1.参考
http://flyash.itcao.com/post_1117.html
中说的, 只需要在header中添加accept-encoding就可以了。
去试试。
2.试的结果的确只是需要添加一下对应的header即可:
req = urllib2.Request(baiduSpaceHomeUrl); req.add_header('Accept-Encoding', 'gzip, deflate'); resp = urllib2.urlopen(req); respInfo = resp.info();