最新消息:20210816 当前crifan.com域名已被污染,为防止失联,请关注(页面右下角的)公众号

【已解决】Python中如何获得访问网页所返回的cookie

Python crifan 12613浏览 0评论

【问题】

用Python脚本模拟登陆百度空间。

需要先获得最开始登陆的百度空间网页所返回的cookie。

【解决过程】

1.搜了一番,最后参考这个:

利用Python抓取需要登录网站的信息

实现了对应的代码:

loginUrl = "http://hi.baidu.com/motionhouse";
cj = cookielib.CookieJar();
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj));
urllib2.install_opener(opener);
resp = urllib2.urlopen(loginUrl);    
for index, cookie in enumerate(cj):
    print '[',index, ']',cookie;

然后就可以获得对应的cookie值了:

[ 0 ] <Cookie BAIDUID=D068154CA8839A493550F5CD50CB7E40:FG=1 for .baidu.com/>          
[ 1 ] <Cookie BDSP=df790172269759ee079db9e8b2fb43166d224f4abf0223215aced0529822720e0cf3d7ca7bcb0a46f21fbe096b63f6246b600c3387          
for .hi.baidu.com/>          
[ 2 ] <Cookie BDSPINFO=e960c2ed9d22dd16fdfa3c86|心情栖息地|motionhouse|9cdda2a32367cb74d72dd95531392551 for .hi.baidu.com/>          
[ 3 ] <Cookie BDSTAT=1e694581e1508576b6003af33a87e950352ac65c10385343faf2b211921376b4 for .hi.baidu.com/>


【后记 2013-08-12】

1.后来由于百度空间改版,其内部机制变化,导致现在,用同样的代码,测试而得到的结果只有1个cookie了

代码如下:

import cookielib;
import urllib2;
 
loginUrl = "http://hi.baidu.com/motionhouse";
cj = cookielib.CookieJar();
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj));
urllib2.install_opener(opener);
resp = urllib2.urlopen(loginUrl);   
for index, cookie in enumerate(cj):
    print '[',index, ']',cookie;

输出如下:

[ 0 ] <Cookie BAIDUID=0409455CE240254B348EF29D1BDF5135:FG=1 for .baidu.com/>

转载请注明:在路上 » 【已解决】Python中如何获得访问网页所返回的cookie

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

网友最新评论 (6)

  1. 博主您好,请问您有什么办法获得 隐藏的那部分cookie吗? 就是在浏览器端是可以找到多余的那部分cookie,但是用程序爬的话,就如您所说的一个值。 能有办法抓到其余的吗?
    shomy10年前 (2015-03-14)回复
  2. 我使用上面的代码,返回的cookie只有一个 把url修改为自己的百度空间地址,返回的cookie也只有一个 为什么你的cookie是多个?
    zchrissirhcz12年前 (2013-08-11)回复
    • 因为百度改版了。所以内部机制变化了。经过实测,现在的确只能获得一个cookie值:BAIDUID,了。
      crifan12年前 (2013-08-12)回复
      • 你好,请问一下,是不是就没有办法抓取全部的cookie了呢?我最近在抓淘宝和tmall的cookie,淘宝只能抓到几个cookie,而tmall更是什么都抓不到,有办法解决吗
        阴影线7年前 (2017-12-12)回复
        • 有办法。需要你自己再去分析淘宝和天猫的页面加载所需要访问的页面地址,传递什么参数,headers等等,理论上可以完全模拟浏览器操作,也就可以获取全部cookie了。
          crifan7年前 (2017-12-13)回复
91 queries in 0.217 seconds, using 22.25MB memory