分享 GitHub 上有趣、入门级的开源项目
您现在的位置是:首页> Python 项目

Scylla 是一款高质量的免费代理 IP 池工具

日期:2021-12-07 14:53:15点击:168

Github icon:

  • GitHub watchers badge
  • GitHub watchers badge
  • GitHub watchers badge

中文文档地址:

https://scylla.wildcat.io/zh/latest/

Scylla 是一款高质量的免费代理 IP 池工具,仅支持 Python 3.6。特性如下:

  1. 自动化的代理 IP 爬取与验证
  2. 易用的 JSON API
  3. 简单但美观的 web 用户界面,基于 TypeScript 和 React(例如,代理的地理分布)
  4. 最少仅用一条命令即可启动
  5. 简明直接的编程 API(将在 1.1 版本中加入)
  6. 最少仅用一行代码即可与 Scrapy 和 requests 进行集成
  7. 无头浏览器(headless browser crawling)爬虫

安装

Docker 安装(推荐)

docker run -d -p 8899:8899 -p 8081:8081 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:latest

使用 pip 直接安装

pip install scylla
scylla --help
scylla # 运行爬虫和 Web 服务器

从源代码安装

git clone https://github.com/imWildCat/scylla.git
cd scylla

pip install -r requirements.txt

npm install # 或 yarn install
make build-assets

python -m scylla

Windows用户在安装 sanic 时假如遇到 uvloop does not support Windows at the moment:

export SANIC_NO_UVLOOP=true
export SANIC_NO_UJSON=true
pip3 install sanic

如果仍是失败,你需要从源码安装sanic。

转载请标明出处:https://www.xiaohuihui.club/index/show/id/73.html
作者:小灰灰
欢迎转载。

文章评论

0.109243s