折腾:
期间,已经可以运行到:
爬取出所要的数据,保存到json对象中了。
但是现在需要把数据结果保存到cvs或excel文件中。
pyspider save to csv
I want store output of python pyspider script to csv or json – Stack Overflow
on_result
Working with Results – pyspider
还有一种思路:
保存到resultdb中,选择用mysql,然后再去用mysql工具导出为csv或excel。
pyspider/test_webui.py at master · binux/pyspider
导出csv时,中文显示乱码 · Issue #540 · binux/pyspider
pyspider result csv
Enable CSV export · Issue #31 · binux/pyspider
说是已经支持csv了。
是空的项目啊
中很多,但是没有要的
pyspider在results中下载json或csv文件弹出新页面IP+未发送任何数据 – SegmentFault 思否
去运行代码看看是否可以直接保存数据到resultdb
部署 – pyspider中文文档 – pyspider中文网
点击了Run
鼠标移动上去会显示进度:
点击 Active Tasks会打开新页面:
http://0.0.0.0:5000/tasks?project=autohomeCarData
点击Results会打开数据保存结果的页面:
Results – autohomeCarData – pyspider
http://0.0.0.0:5000/results?project=autohomeCarData
继续等待运行:
点击csv看看:
结果:
只是页面的结果数据,不是以为的要保存出来的格式,且是乱码
换用VSCode去打开:
然后去看看正在运行的项目所保存数据到result.db中的效果:
tingyun.site/2017/07/15/Pyspider你所要知道的一些/
算了,先停止:
毕竟此处还没搞懂,如何保存数据出来。
pyspider 如何保存数据
Pyspider把抓取的结果存入mysql数据库 | 拈花古佛
好像可以直接:
def on_result(self, result):
然后直接去保存到csv中就可以了。
Pyspider实例之抓取数据并保存到MySQL数据库 – CSDN博客
尝试去重写on_result
还是觉得不太对。
【已解决】PySpider中如何单个页面返回多个json数据结果
顺带看看,点击active task的每个task后:
然后去看看result下载到的csv:
(vscode中csv插件的效果)
去拷贝了一份result.db
改为名为sqlite,用
DB Browser for SQLite
去打开,效果是:
taskid
url
result
updatetime
数据是:
【总结】
现在感觉是:
直接去设置状态为RUNNING或DEBUG(遇到错误会停止),然后点击Run,就可以运行了:
然后就一直等到结束。(目前还没结束)
然后点击Results,然后下载CSV即可得到csv文件:
打开即可看到所要的内容:
现在有个小缺点:
最后多了一列的 …
然后是:,{}
-》不过不是大问题,抽空替换为空:
也就可以清除掉多余的列了: