最新消息:20210816 当前crifan.com域名已被污染,为防止失联,请关注(页面右下角的)公众号

【已解决】Python中Http的GET或POST请求支持Gzip压缩

Python crifan 4996浏览 0评论

【问题】
在用python抓取网页的时候,很多网页返回的html的数据量比较大,比如好几十KB,
希望在提交http的请求的时候,支持Gzip压缩,已减少数据量传输。

【解决过程】
1.参考
http://flyash.itcao.com/post_1117.html
中说的, 只需要在header中添加accept-encoding就可以了。
去试试。
2.试的结果的确只是需要添加一下对应的header即可:

req = urllib2.Request(baiduSpaceHomeUrl);
req.add_header('Accept-Encoding', 'gzip, deflate');
resp = urllib2.urlopen(req);
respInfo = resp.info();

转载请注明:在路上 » 【已解决】Python中Http的GET或POST请求支持Gzip压缩

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
89 queries in 0.207 seconds, using 22.09MB memory