【问题】
在用python抓取网页的时候,很多网页返回的html的数据量比较大,比如好几十KB,
希望在提交http的请求的时候,支持Gzip压缩,已减少数据量传输。
【解决过程】
1.参考
http://flyash.itcao.com/post_1117.html
中说的, 只需要在header中添加accept-encoding就可以了。
去试试。
2.试的结果的确只是需要添加一下对应的header即可:
1 2 3 4 | req = urllib2.Request(baiduSpaceHomeUrl); req.add_header( 'Accept-Encoding' , 'gzip, deflate' ); resp = urllib2.urlopen(req); respInfo = resp.info(); |