快速且强大
编写规则来提取所需数据，其余的交给 Scrapy。
可定制
使用 Python 构建爬虫，并根据任何网站或数据模型进行定制。
开源
由一个活跃的社区维护，全球数百万开发者正在使用。
几分钟内即可上手
更快地构建爬虫
选择一个功能以查看相应的代码片段。
- 创建 Scrapy 项目
- 使用单个命令初始化一个新的 Scrapy 项目。
- 运行爬虫
- 运行 Scrapy 爬虫来抓取数据。
- 导出数据
- 将提取的数据保存为您选择的格式文件。
- 使用 Scrapy Shell
- 交互式地测试和调试您的抓取逻辑。
$ scrapy startproject myproject加入社区
“ 如果没有 Scrapy，我的自由职业生涯以及后来的爬虫业务将永远无法起步。Scrapy 框架，尤其是它的文档，简化了对任何具备基本 Python 技能的人的爬取工作。我不知道，现在我已经对 Scrapy 产生了一种情感上的纽带，这种纽带是多年来发展起来的。”
Nishant Choudhary
DataFlirt.com 创始人
“ Scrapy：这份礼物彻底改变了网络爬取，并激励我用 Scrapoxy 回馈社区！"
"Scrapy 自首次发布以来，一直是我所有项目的核心引擎。”
Fabien Vauchelles
Scrapoxy 创建者
“ Scrapy 作为一款卓越的工具脱颖而出，能够无缝管理开放请求，使大规模数据收集高效可靠。"
"凭借其卓越的抓取速度，Scrapy 将复杂的网络数据提取任务转化为快速、简化的操作，从而节省时间并最大化产出。”
Hyder Khan
Flipdish
“ Scrapy 是用 Python 进行网络爬取的基石。没有它，爬取会困难得多。"
"在我的职业生涯中，我构建了数千个爬虫，大部分都使用 Scrapy。它让我的生活轻松了许多。”
Pierluigi Vinciguerra
Databoutique.com 联合创始人兼 CTO
“ 凭借超过6年的网络爬取经验，Scrapy 一直是我构建快速、可靠、可扩展数据管道的首选框架。"
"在我6年多的爬取经验中，没有任何工具能在功能、灵活性和社区支持方面与 Scrapy 相媲美。”
Ganesh Satheendran
Turbolab Technologies
“ 当 Google 搜索强制执行 JavaScript 时，我们的爬虫就坏了。在短时间内努力用 Puppeteer 构建一个可行的替代方案时，我们启动了 Scrapy 和 Splash，并迅速编写了一个脚本。瞧——它成功了！我们的 Google 基准测试又开始运行了。”
Adam
Proxyway