Skip to content

deep-project/pyspider

Repository files navigation

说明

修改版的pyspider 使其适配更高版本的python 在centos7 + python3.9环境下测试通过。
主要修改了async关键词冲突、固定了一些依赖的版本防止报错。
给分组加了一个tabs切换,切换cf的cdn到字节跳动的cdn

使用方法

1.设置环境变量

export PYCURL_SSL_LIBRARY=nss;

2.需要先安装git(如果未安装的话)

apt install git // debian

3.安装

pip install git+https://github.com/deep-project/pyspider.git

4.启动

pyspider

 目前推荐在3.9下运行,3.10以上需要手动修改 tornado源码

tornado/httputil.py 106行
collections 改 collections.abc

也许还会有其他问题,暂时未测试。