折腾：
【未解决】用Python爬取汽车之家的车型车系详细数据
期间，先去恢复PySpider环境。
现在先去参考之前已有代码去
恢复环境
pyspider_src/Pipfile
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | [[source]]#url = "https://pypi.python.org/simple"verify_ssl = truename = "pypi"[packages]pymysql = "*"mysql = "*"mysqlclient = "*"mysql-connector-python = "*"[dev-packages][requires]python_version = "3.6" |
然后去：
1 | pipenv install |
卡死了。换：
1 | pipenv install --skip-lock |
继续：
1 | pipenv shell |
去看看：
1 2 3 4 5 6 7 8 | pipenv graphmysql==0.0.2 - mysqlclient [required: Any, installed: 2.0.1]mysql-connector-python==8.0.21 - protobuf [required: >=3.0.0, installed: 3.12.4] - setuptools [required: Any, installed: 45.3.0] - six [required: >=1.9, installed: 1.15.0]PyMySQL==0.10.0 |
去安装：
1 | pipenv install --skip-lock pyspider |
即可。
然后去看看能否运行pyspider
1 | pyspider |
但是没法启动。
重新安装：
1 | pipenv install |
但是由于自己的Mac本身有问题：
VSCode的终端中pyspider输入了都没反应
-》后来发现本身Mac系统有问题
无法正常打开各种app，包括网易有道词典
以及VSCode中Python插件都无法正常加载
所以放弃，换了公司Mac。
然后安装全局PySpider
1 2 3 | pyenv version3.6.5 (set by /Users/xxx/.python-version) xxx@xxx ~ pip install pyspider |
运行
1 | pyspider |
又报错：
1 | ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend (none/other) |
参考之前的去：
1 2 3 | pip uninstall pycurlexport PYCURL_SSL_LIBRARY=opensslexport LDFLAGS=-L/usr/local/opt/openssl/lib;export CPPFLAGS=-I/usr/local/opt/openssl/include;pip install pycurl --compile --no-cache-dir |
然后又报错：
1 2 | - Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.Error: Could not create web server listening on port 25555 |
参考之前的：
【已解决】Mac中启动PySpider
去杀掉进程重启
不过问题依旧，去：
1 | pip install wsgidav==2.4.1 |
然后又：
1 | ImportError: cannot import name 'DispatcherMiddleware' |
继续：
1 | pip install werkzeug==0.16.1 |
终于可以了：
1 2 3 4 5 6 7 8 9 | pyspider phantomjs fetcher running on port 25555[I 200814 20:31:01 result_worker:49] result_worker starting...[I 200814 20:31:01 processor:211] processor starting...[I 200814 20:31:01 tornado_fetcher:638] fetcher starting...[I 200814 20:31:01 scheduler:647] scheduler starting...[I 200814 20:31:01 scheduler:782] scheduler.xmlrpc listening on 127.0.0.1:23333[I 200814 20:31:01 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0[I 200814 20:31:01 app:76] webui running on 0.0.0.0:5000 |
转载请注明：在路上 » 【已解决】Mac中恢复或重新搭建PySpider开发环境