【暂时解决】给PySpider中用科学上网的代理打开需要翻墙的页面

折腾：

【记录】用PySpider去爬取scholastic的绘本书籍数据

期间，加载页面偶尔异常不返回数据：

偶然又可以：

而开了科学上网的浏览器打开页面是没问题的。

所以希望去加上代理，看看是否可以保证每次都能正常打开页面。

pyspider 添加代理

好像是可以直接给crawl设置proxy？

或者配置到全局的crawl_config？

PySpider proxy

“proxy

proxy server of username:password@hostname:port to use, only http proxy is supported currently.

class Handler(BaseHandler):

    crawl_config = {

        ‘proxy’: ‘localhost:8080’

    }

Handler.crawl_config can be used with proxy to set a proxy for whole project.”

去试试ss的

结果

还是打开页面出错：

全局翻墙试试：

直接报错error：

放弃全局翻墙。

看到：

“validate_cert

For HTTPS requests, validate the server’s certificate? default: True”

难道此处和https的证书验证有关系？

另外去搜：

PySpider Error, missing Report Suite ID in AppMeasurement initialization

没找到相关的。去看看

不过先去看看：

【基本解决】PySpider打开页面出现304

此处为了确认上述代理是否生效，故意随便改动了端口，结果发现：

还是可以打开页面（虽然问题依旧）

-》证明了前面的：

proxy是无效的。

pyspider proxy not work

换成：

结果好像成功率高很多。

后来经过测试是：

【总结】

PySpider中，网络请求，貌似是走的当前（Mac本地）系统的网络的：

所以感觉是：

在此处Mac本地开启了ss代理的前提下，暂时，不需要，且开启了PySpider中proxy也没用

所以对于，PySpider中能访问翻墙的网站，

在此处Mac本地已开启ss的前提下，暂时算是解决了。

如果还有其他问题，到时候再说。