【已解决】Python中用json.loads去解析字符串出错：ValueError: Expecting property name: line 1 column 51 (char 51)

【问题】

想要给BlogsToWordpress添加支持新版百度空间，然后通过：

http://hi.baidu.com/qcmt/data/cmtlist?count=10&thread_id_enc=c260a3d575252069fb5768ed&orderby_type=1&favor=2&start=0&qing_request_source=&type=smblog

去获得对应的帖子：

http://hi.baidu.com/hispace/item/c260a3d575252069fb5768ed

中的评论数据respCmtJson：

然后用json去解析：

cmtDict = json.loads(respCmtJson);

结果出错：

ValueError: Expecting property name: line 1 column 51 (char 51)

其中，此处不存在编码的问题，因为respCmtJson是UTF-8的。

【解决过程】

1.之前就遇到过类似json字符串解析成dict变量的问题。

后来是分别用eval，或ast.literal_eval，或json.loads而解决。

此处所以就又去试试eval和ast.literal_eval，结果都不行，都会出现解析错误：

（1）用

cmtDict = ast.literal_eval(respCmtJson);

出现：

ValueError: malformed string

（2）用

cmtDict = eval(respCmtJson);

出现：

NameError: name ‘total_count’ is not defined

所以都还是不行。

2.参考Python dict to JSON via json.loads:去试了试json.dumps，结果很明显，只是从utf-8的str转换为unicode的字符而已，然后用转换后的unicode字符再去json.loads，也还是同样出错。

3.由Issue5067想到，去把上述中单引号，换成双引号：

respCmtJson = respCmtJson.replace("'", "\"");

结果，让人失望，问题依旧。

4.专门去查了下那个错误位置51，发现是

"data": [ { ……} ]

中的第一个中括号之后，大括号之前，所以，看起来感觉是，json对于此处两个中括号之间，即列表变量中的值，不支持是dict类型的变量？

5.看到：Handling lazy JSON in Python – ‘Expecting property name’，才发现，原来上述猜测是错的。

问题根源在于，此处，对于json中的key和value来说，正常的话，是需要都用引号括起来的，而此处"data"之后的，第一个key是total_count，就没有用引号括起来，所以json才报错，不支持的。

类似地，后面的很多个key，比如real_ret_count，items，reply_id_enc等，全部都是没有引号括起来的，所以都会出错的。

然后就参考帖子的做法，去手动用正则表达式，把字符串处理为标准的json字符，就可以正确解析了。

如下是可以工作的代码：

        respCmtJson = re.sub(r"(,?)(\w+?)\s+?:", r"\1'\2' :", respCmtJson);
        respCmtJson = respCmtJson.replace("'", "\"");
        logging.debug("after filter, respCmtJson=%s", respCmtJson);
        
        cmtDict = json.loads(respCmtJson);
        logging.debug("cmtDict=%s", cmtDict);

【总结】

解析json字符串位dict变量之前，的确要先确保json字符串是否符合标准。

此处就是由于json的key没有双引号，导致json解析错误的。

解决办法是，用正则表达式将非法的json字符串处理为合法的，符合json标准的字符串，然后在用json.loads，就可以正确解析了。

转载请注明：在路上 » 【已解决】Python中用json.loads去解析字符串出错：ValueError: Expecting property name: line 1 column 51 (char 51)