将 Scrapy 部署到生产环境

让你的爬虫上线最快的方式是 Scrapy Cloud 由 Zyte 提供 — 大规模托管、调度和监控你的爬取任务,并提供免费层级助你起步。

Scrapy Cloud由 Zyte 提供

在云端托管并监控你的爬虫

Scrapy Cloud 是来自 Zyte(Scrapy 背后的公司)的托管平台。通过单条命令即可部署,让 Zyte 处理调度、扩容、监控和存储问题——无需管理服务器。

  • 实时仪表板
  • 智能调度
  • 内置监控与日志记录
  • 可自定义容器
  • 无缝集成 Zyte API
  • 无供应商锁定
免费永久有效

入门计划

部署你的第一个爬虫,享受无限项目和请求数量——无需信用卡。

免费开始

三步快速上手

1

安装 shub

Zyte 用于 Scrapy Cloud 的命令行工具。

$ pip install shub
2

登录

使用你的免费 API 密钥进行身份验证。

$ shub login
3

部署

推送你的项目并在云端运行。

$ shub deploy

需要完整指南? 阅读 Scrapy Cloud 入门指南 →

简单且可扩展的定价

什么是 Scrapy 单位 (Scrapy unit)?

Scrapy 单位是你进行扩展的构建模块 1 个单位 = 1GB 内存和 1 个并发爬取任务。添加更多单位以同时运行更多爬虫,或支持更繁重的爬取任务——你只需为你所需的资源付费。

入门版

免费永久有效

部署你的第一个爬虫所需的一切。

  • 无限项目
  • 无限请求
  • 无限团队成员
  • 1 小时爬取时长
  • 1 个并发爬取任务
  • 7 天数据保留
免费开始
最受欢迎

专业版

9 美元起/ 每个单位每月

随着爬取任务的增长,通过增加单位来扩展。

  • 包含入门版所有功能
  • 无限爬取时长
  • 无限并发爬取任务
  • 智能爬取调度
  • 120 天数据保留
  • 个性化支持
开始使用

其他部署方式

Scrapyd

一款开源应用,用于在自己的服务器上部署和运行 Scrapy 爬虫,可通过 JSON API 进行控制。

阅读文档

scrapyd-client

通过单条 scrapyd-deploy 命令将你的项目打包并部署到任何 Scrapyd 实例。

获取 scrapyd-client

Docker

将你的爬虫容器化,实现从树莓派到 Kubernetes 集群等任何环境下的可复现运行。

部署指南