Crawlbase 文档

# 响应

当执行请求时 Crawlbase 你会得到回复。

此响应将是 JSON 对象或页面的 html 代码，具体取决于您使用 格式 参数（默认为 html）。

# HTML Response

如果您选择了 html 响应格式（这是默认格式），您将收到页面的 html 作为响应。

- 响应参数 将添加到响应标头中。

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=html'
Response:
  Headers:
    url: https://github.com/crawlbase?tab=repositories
    original_status: 200
    pc_status: 200
    'X-Domain-Complexity': standard

  Body:
    <!doctype html><html class="a-no-js" data-19ax5a9jf="dingo"><!-- sp:feature:head-start -->
    <head><script>var aPageStart = (new Date()).getTime();</script><meta charset="utf-8">
    ... (all the html of the page)

# JSON Response

如果您选择了 json 响应格式，您将收到一个可以解析的 JSON 对象。

此对象包含您需要的所有信息。 读 响应参数 对于所有信息。

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=json'
Response:
{
  "original_status": "200",
  "pc_status": 200,
  "url": "https://github.com/crawlbase?tab=repositories",
  "domain_complexity": "standard",
  "body": "\u003C!doctype html\u003E\u003Chtml class=\"a-no-js\" data-19ax5a9jf\n... (all the html of the page)"
}

# Headers

正如您在上面的示例中看到的，响应，json 或 html 将返回 json的参数或 html的标题，这将使您知道请求发生了什么。

# URL

请求中发送的原始 URL 或重定向的 URL Crawlbase 紧随其后。

# original_status

我们（的状态响应Crawlbase) 在抓取请求中发送的 URL 时接收。

它可以是任何有效的 http 状态码。

请注意： Crawlbase 仅收取以下请求的费用 original_status 成功 (200, 201, 204)，永久重定向 (301)，临时重定向 (302) 如果跟随重定向返回内容，未找到 (410, 404)。 什么时候 pc_status 是 200。任何其他 original_status 收到的代码将不收费。

# pc_status

- Crawlbase (pc) 状态代码可以是任何状态代码，并且它是最终有效的代码。
例如，一个网站可能会返回 original_status 200 带有验证码，在这种情况下， pc_status 将是503。

任何非标准代码（如 601、999 等）均用于内部工程团队，仅用于在联系支持时帮助您调试问题。

请注意： 向 Crawlbase 最终以失败告终 pc_status 代码（与 200 不同）不会收费。

# X-Domain-Complexity

复杂度级别表示抓取或爬取给定域的难度，也反映了相关的资源需求和定价：

  • standard – 易于抓取或爬取的域名，且保护措施较少。这些域名通常价格最低。
  • moderate – 具有中等反机器人保护措施的域名，需要专门处理。这些域名通常具有中等定价等级，并且处理起来需要更多资源。
  • complex – 拥有高级防护系统的域名，难以抓取或爬取。这类域名需要先进的技术和专业资源，价格也较高。

了解不同域名的复杂程度有助于您估算抓取任务的潜在价格和技术考虑因素。有关基于域名复杂程度的具体价格信息，请参阅您的订阅计划或通过以下方式联系我们的销售团队： 联系页面.

# body

此参数仅在 json 中可用 格式, 在 html 中 format 将是响应本身的主体。

页面内容 Crawlbase 发现这是代理抓取请求中发送的 URL 的结果。

← POST 请求 →

©2025 Crawlbase