最新消息:20210816 当前crifan.com域名已被污染,为防止失联,请关注(页面右下角的)公众号

【已解决】PySpider如何把json结果数据保存到csv或excel文件中

Excel crifan 5221浏览 0评论

折腾:

【已解决】写Python爬虫爬取汽车之家品牌车系车型数据

期间,已经可以运行到:

爬取出所要的数据,保存到json对象中了。

但是现在需要把数据结果保存到cvs或excel文件中。

pyspider save to csv

I want store output of python pyspider script to csv or json – Stack Overflow

on_result

Working with Results – pyspider

Deployment – pyspider

还有一种思路:

保存到resultdb中,选择用mysql,然后再去用mysql工具导出为csv或excel。

pyspider/test_webui.py at master · binux/pyspider

pyspider对网页内容进行爬取 – D.K

导出csv时,中文显示乱码 · Issue #540 · binux/pyspider

pyspider result   csv

Enable CSV export · Issue #31 · binux/pyspider

说是已经支持csv了。

Results – aaavv – pyspider

是空的项目啊

http://demo.pyspider.org

中很多,但是没有要的

pyspider在results中下载json或csv文件弹出新页面IP+未发送任何数据 – SegmentFault 思否

Pyspider—一款强大的可视化抓取平台 | 听云

去运行代码看看是否可以直接保存数据到resultdb

部署 – pyspider中文文档 – pyspider中文网

点击了Run

鼠标移动上去会显示进度:

点击 Active Tasks会打开新页面:

http://0.0.0.0:5000/tasks?project=autohomeCarData

点击Results会打开数据保存结果的页面:

Results – autohomeCarData – pyspider

http://0.0.0.0:5000/results?project=autohomeCarData

继续等待运行:

点击csv看看:

结果:

只是页面的结果数据,不是以为的要保存出来的格式,且是乱码

换用VSCode去打开:

然后去看看正在运行的项目所保存数据到result.db中的效果:

‎tingyun.site/2017/07/15/Pyspider你所要知道的一些/

算了,先停止:

毕竟此处还没搞懂,如何保存数据出来。

pyspider 如何保存数据

Pyspider把抓取的结果存入mysql数据库 | 拈花古佛

好像可以直接:

    def on_result(self, result):

然后直接去保存到csv中就可以了。

Python爬虫-pyspider框架的使用 — Msq

Pyspider实例之抓取数据并保存到MySQL数据库 – CSDN博客

尝试去重写on_result

还是觉得不太对。

【已解决】PySpider中如何单个页面返回多个json数据结果

顺带看看,点击active task的每个task后:

然后去看看result下载到的csv:

(vscode中csv插件的效果)

去拷贝了一份result.db

改为名为sqlite,用

DB Browser for SQLite

去打开,效果是:

taskid

url

result

updatetime

数据是:

【总结】

现在感觉是:

直接去设置状态为RUNNING或DEBUG(遇到错误会停止),然后点击Run,就可以运行了:

然后就一直等到结束。(目前还没结束)

然后点击Results,然后下载CSV即可得到csv文件:

打开即可看到所要的内容:

现在有个小缺点:

最后多了一列的 …

然后是:,{}

-》不过不是大问题,抽空替换为空:

也就可以清除掉多余的列了:

转载请注明:在路上 » 【已解决】PySpider如何把json结果数据保存到csv或excel文件中

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
90 queries in 0.215 seconds, using 22.10MB memory