Scylla 是一款高质量的免费代理 IP 池工具
日期:2021-12-07 14:53:15点击:168
Github地址:
https://github.com/imWildCat/scylla中文文档地址:
https://scylla.wildcat.io/zh/latest/
Scylla 是一款高质量的免费代理 IP 池工具,仅支持 Python 3.6。特性如下:
- 自动化的代理 IP 爬取与验证
- 易用的 JSON API
- 简单但美观的 web 用户界面,基于 TypeScript 和 React(例如,代理的地理分布)
- 最少仅用一条命令即可启动
- 简明直接的编程 API(将在 1.1 版本中加入)
- 最少仅用一行代码即可与 Scrapy 和 requests 进行集成
- 无头浏览器(headless browser crawling)爬虫
安装
Docker 安装(推荐)
docker run -d -p 8899:8899 -p 8081:8081 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:latest
使用 pip 直接安装
pip install scylla
scylla --help
scylla # 运行爬虫和 Web 服务器
从源代码安装
git clone https://github.com/imWildCat/scylla.git
cd scylla
pip install -r requirements.txt
npm install # 或 yarn install
make build-assets
python -m scylla
Windows用户在安装 sanic 时假如遇到 uvloop does not support Windows at the moment:
export SANIC_NO_UVLOOP=true
export SANIC_NO_UJSON=true
pip3 install sanic
如果仍是失败,你需要从源码安装sanic。
转载请标明出处:https://www.xiaohuihui.club/index/show/id/73.html
作者:小灰灰
欢迎转载。
上一篇:一个收集各种爬虫的集合项目