【记录】给BlogsToWordPress添加支持导出网易的心情随笔

【背景】

之前的

BlogsToWordpress

不支持网易的心情随笔。

现在去添加此功能。

【解决过程】

1.结果使用：

竟然结果连第一个帖子地址都找不到了。

2.所以去用Firebug调试网易博客，发现，原先的获得对应的帖子信息的访问，从之前的GET变成现在的POST了。

所以，把旧的GET的代码，

getBlogUrl = genGetBlogsUrl(userId, startBlogIdx, onceGetNum);
logging.info("getBlogUrl=%s", getBlogUrl);
# get blogs
blogsResp = crifanLib.getUrlRespHtml(getBlogUrl);
 
 
#------------------------------------------------------------------------------
# generate get blogs URL
def genGetBlogsUrl(userId, startBlogIdx, onceGetNum):
    getBlogsUrl = '';
 
    try :
        # http://api.blog.163.com/againinput4/dwr/call/plaincall/BlogBeanNew.getBlogs.dwr
        # callCount=1
        # scriptSessionId=${scriptSessionId}187
        # c0-scriptName=BlogBeanNew
        # c0-methodName=getBlogs
        # c0-id=0
        # c0-param0=number:172799491
        # c0-param1=number:0
        # c0-param2=number:20
        # batchId=955290
 
        paraDict = {
            'callCount'     :   '1',
            'scriptSessionId':  '${scriptSessionId}187',
            'c0-scriptName' :   'BlogBeanNew',
            'c0-methodName' :   'getBlogs',
            'c0-id'         :   '0',
            'c0-param0'     :   '',
            'c0-param1'     :   '',
            'c0-param2'     :   '',
            'batchId'       :   '1',
        };
        paraDict['c0-param0'] = "number:" + str(userId);
        paraDict['c0-param1'] = "number:" + str(startBlogIdx);
        paraDict['c0-param2'] = "number:" + str(onceGetNum);
         
        mainUrl = gConst['blogApi163'] + '/' + gVal['blogUser'] + '/' + 'dwr/call/plaincall/BlogBeanNew.getBlogs.dwr';
        getBlogsUrl = crifanLib.genFullUrl(mainUrl, paraDict);
 
        logging.debug("Generated get blogs url %s", getBlogsUrl);
    except :
        logging.debug("Can not generate get blog url.");
 
    return getBlogsUrl;

希望改为最新的，POST的代码。

3。调试期间发现：

其中的post data，还不是普通的以&分隔的，而是以换行分隔的：

callCount=1
scriptSessionId=${scriptSessionId}187
c0-scriptName=BlogBeanNew
c0-methodName=getBlogs
c0-id=0
c0-param0=number:186541395
c0-param1=number:0
c0-param2=number:1
batchId=123756

所以， 还是比较特殊的。

结果折腾期间，还出错了：

参考：

httpclient 调用DWR应用时发生The specified call count is not a number 错误

去把默认的：

req.add_header('Content-Type', "application/x-www-form-urlencoded");

改为：

req.add_header('Content-Type', "text/plain");

才最终获得对应的DWR返回的内容：

接下来，就可以正常的去解析此内容了。

4.最后，终于可以使用POST的代码，获得对应的内容了：

blogsDwrRespHtml = getBlogsDwrRespHtml(userId, startBlogIdx, onceGetNum);
logging.debug("blogsDwrRespHtml=%s", blogsDwrRespHtml);
 
def getBlogsDwrRespHtml(userId, startBlogIdx, onceGetNum):
    # getBlogUrl = genGetBlogsUrl(userId, startBlogIdx, onceGetNum);
    # logging.info("getBlogUrl=%s", getBlogUrl);
    # # get blogs
    # blogsRespHtml = crifanLib.getUrlRespHtml(getBlogUrl);
     
    #change GET to POST
 
    #http://api.blog.163.com/ni_chen/dwr/call/plaincall/BlogBeanNew.getBlogs.dwr
    #callCount=1
    #scriptSessionId=${scriptSessionId}187
    #c0-scriptName=BlogBeanNew
    #c0-methodName=getBlogs
    #c0-id=0
    #c0-param0=number:186541395
    #c0-param1=number:0
    #c0-param2=number:1
    #batchId=494302
     
    # http://api.blog.163.com/againinput4/dwr/call/plaincall/BlogBeanNew.getBlogs.dwr
    # callCount=1
    # scriptSessionId=${scriptSessionId}187
    # c0-scriptName=BlogBeanNew
    # c0-methodName=getBlogs
    # c0-id=0
    # c0-param0=number:172799491
    # c0-param1=number:0
    # c0-param2=number:20
    # batchId=955290
 
    postDict = {
        'callCount'     :   '1',
        'scriptSessionId':  '${scriptSessionId}187',
        'c0-scriptName' :   'BlogBeanNew',
        'c0-methodName' :   'getBlogs',
        'c0-id'         :   '0',
        'c0-param0'     :   '',
        'c0-param1'     :   '',
        'c0-param2'     :   '',
        'batchId'       :   '1',
    };
    postDict['c0-param0'] = "number:" + str(userId);
    postDict['c0-param1'] = "number:" + str(startBlogIdx);
    postDict['c0-param2'] = "number:" + str(onceGetNum);
    #http://api.blog.163.com/ni_chen/dwr/call/plaincall/BlogBeanNew.getBlogs.dwr
    getBlogsDwrMainUrl = gConst['blogApi163'] + '/' + gVal['blogUser'] + '/' + 'dwr/call/plaincall/BlogBeanNew.getBlogs.dwr';
    logging.debug("getBlogsDwrMainUrl=%s", getBlogsDwrMainUrl);
         
    #Referer    http://api.blog.163.com/crossdomain.html?t=20100205
    headerDict = {
        'Referer'       :   'http://api.blog.163.com/crossdomain.html?t=20100205',
        'Content-Type'  :   "text/plain",
    };
    blogsRespHtml = crifanLib.getUrlRespHtml(getBlogsDwrMainUrl, postDict=postDict, headerDict=headerDict, postDataDelimiter='\r\n');
 
    logging.debug("blogsRespHtml=%s", blogsRespHtml);
         
    return blogsRespHtml;

5.等待后续再去添加 网易的 心情随笔。

【后记 2013-09-22】

1.后来，实现了对应的抓取心情随笔：

【教程】以抓取网易博客帖子中的最近读者信息为例，手把手教你如何抓取动态网页中的内容

以及：

【记录】用Python解析网易163博客的心情随笔FeelingCard返回的DWR-REPLY数据

转载请注明：在路上 » 【记录】给BlogsToWordPress添加支持导出网易的心情随笔