【已解决】Scrapy如何向后续Request的callback中传递参数
crifan 7年前 (2018-03-07) 4427浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,虽然已经用代码: <code># -*- coding: utf-8 -*- import scrapy # from scrapy import R...
crifan 7年前 (2018-03-07) 4427浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,虽然已经用代码: <code># -*- coding: utf-8 -*- import scrapy # from scrapy import R...
crifan 7年前 (2018-03-06) 3001浏览 0评论
折腾: 【已解决】Scrapy的Python中如何解析部分的html字符串并格式化为html网页源码 期间, 对于: <code><h4>Subtitles in .srt format:</h4...
crifan 7年前 (2018-03-05) 4361浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,已经可以用scrapy去post某个url得到返回的部分的html的字符串了: {“id”:1637788,”title...
crifan 7年前 (2018-03-02) 3767浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间, 已经可以去用scrapy打开页面: http://www.yousubtitles.com/load/?url=https%3A%2F%2Fwww.youtub...
crifan 7年前 (2018-03-01) 5762浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,去调用 http://www.yousubtitles.com 想办法下载字幕,结果无法提示: DEBUG: Forbidden by robots.txt 20...
crifan 7年前 (2018-02-27) 6244浏览 0评论
pyspider vs scrapy pyspider 和 scrapy 比较起来有什么优缺点吗? – 知乎 “Pyspiders是国内某大神开发了个WebUI的[Pyspider](GitHub – binux/pyspid...
crifan 7年前 (2018-01-13) 5861浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,对于scrapy的response的xpath得到的Selector,如何获取其中的a中href的值 Scrapy 1.5 documentation — Scr...
crifan 7年前 (2018-01-13) 9531浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取Youtube中Humf的字幕 期间,由于youtube网页本身需要翻墙才能打开。 而此处Mac中已有Shadowsocks-NG的ss代理了。 现在需要给Scrapy去添加代理。 scrapy ad...
crifan 7年前 (2018-01-13) 6846浏览 0评论
对于之前的手动操作去 找小毛怪 Humf 的字幕: 但是找到个好(工具)网站,支持提取youtube中视频的字幕的,具体步骤: 针对于Humf的youtube官网的每个系列: Humf – Official Channel – YouTu...
crifan 7年前 (2018-01-09) 3373浏览 0评论
折腾: 【记录】用Python的Scrapy去爬取cbeebies.com 期间,继续参考: Scrapy入门教程 — Scrapy 1.0.5 文档 去试试 Scrapy终端(Scrapy shell) — Scrapy 1.0.5 文档 的效果。...