Crawlbase 文档

# 爬虫 API

要监控爬虫统计信息、管理作业、通过 API 清除爬虫、暂停/取消暂停爬虫，请按照以下说明操作：

请注意： 对于 JS 爬虫，在所有 API 调用中将 TCP 令牌替换为 JS 令牌。

# 统计 API

获取爬虫的摘要，包括并发性、队列状态和爬取历史记录（成功和失败细目）：

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats'

按日期范围过滤历史记录：

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats?history_from=yyyy-mm-dd&history_to=yyyy-mm-dd'

# 清除 API

要清除特定的爬虫，请使用爬虫名称和令牌 (JS/TCP) 发出此 POST 请求：

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/purge'

请注意： 这将立即删除 所有页面 来自爬虫。

# 删除作业 API

要从爬虫中删除作业，请发送此 POST 请求，其中包含请求 RID、爬虫名称和令牌 (JS/TCP)：

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/delete_job?rid=RID'

# 找工作 API

要在爬虫程序队列中通过 RID 查找请求，请使用以下 GET 请求 (JS/TCP)：

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/find_by_rid/RID'

回应：

  • 如果已排队：
{
  "status": "QUEUED",
  "request_info": {
    "rid": "YOUR_RID",
    "url": "YOUR_URL",
    "retry": 3,
    "created_at": 1600494969.189415
  }
}
  • 如果 NOT_QUEUED： 如果请求已被抓取或者不在队列中。
{
  "status": "NOT_QUEUED",
  "request_info": {
    "rid": "YOUR_RID"
  }
}

# 暂停 API

要暂停爬虫，请使用带有爬虫名称和令牌 (JS/TCP) 的 POST 请求：

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/pause'

# 取消暂停 API

要取消暂停爬虫，请使用爬虫名称和令牌 (JS/TCP) 发出此 POST 请求：

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/unpause'

← 几分钟内的智能代理 →

©2024 Crawlbase