Crawlbase 文档 Crawlbase 文档
  • 抓取 API
  • 刮板API
  • 履带
  • 存储 API
  • 潜在客户 API
  • 截图 API
  • 代理反向连接 API
图书馆 (opens new window)
用户面板 (opens new window)
登录 (opens new window)
加入 (opens new window)
  • en-US
  • zh-CN
  • 抓取 API
  • 刮板API
  • 履带
  • 存储 API
  • 潜在客户 API
  • 截图 API
  • 代理反向连接 API
图书馆 (opens new window)
用户面板 (opens new window)
登录 (opens new window)
加入 (opens new window)
  • en-US
  • zh-CN
  • 抓取 API
  • 刮板API
  • 爬虫
    • 爬虫介绍
    • 将数据推送到爬虫
    • Webhook 接收
    • 爬虫 API
  • 智能代理
  • 存储 API
  • 潜在客户 API
  • 截图 API
  • 代理反向连接 API
  • 用户代理 API
  • API 状态代码

# 爬虫介绍

Crawler 是一个与回调一起工作的推送系统。 您将使用 Crawling API 将 url 推送到您的 Crawler,Crawler 会将已爬取的页面推回您的服务器。

为此,您需要创建一个 网络挂钩 (打开新窗口) (opens new window) 您服务器上的 url(例如:https://myserver.com/crawlbase)以从 Crawlbase Crawler 接收数据。

继续阅读以了解如何向爬虫推送数据和从爬虫接收数据。

← 响应 将数据推送到爬虫 →

©2023 Crawlbase