Crawlbase 文档

# 响应

当向 Crawlbase 发出请求时，您会得到响应。

此响应将是 JSON 对象或页面的 html 代码，具体取决于您使用 [格式]/zh-cn/crawling-api/parameters/#format) 参数（默认为 html）。

# HTML 响应

如果您选择了 html 响应格式（这是默认格式），您将收到页面的 html 作为响应。

这款 响应参数 将添加到响应标头中。

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=html'
Response:
  Headers:
    url: https://github.com/crawlbase?tab=repositories
    original_status: 200
    pc_status: 200

  Body:
    <!doctype html><html class="a-no-js" data-19ax5a9jf="dingo"><!-- sp:feature:head-start -->
    <head><script>var aPageStart = (new Date()).getTime();</script><meta charset="utf-8">
    ... (all the html of the page)

# JSON 响应

如果您选择了 json 响应格式，您将收到一个可以解析的 JSON 对象。

此对象包含您需要的所有信息。 读 响应参数 对于所有信息。

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=json'
Response:
{
  "original_status": "200",
  "pc_status": 200,
  "url": "https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories",
  "body": "\u003C!doctype html\u003E\u003Chtml class=\"a-no-js\" data-19ax5a9jf\n... (all the html of the page)"
}

# 头

正如您在上面的示例中看到的，响应，json 或 html 将返回 json的参数或 html的标题，这将使您知道请求发生了什么。

# 网址

请求中发送的原始 url 或 Crawlbase 遵循的重定向的 url。

# 原始状态

我们（Crawlbase）在抓取请求中发送的url时收到的状态响应。

它可以是任何有效的 http 状态码。

请注意，Crawlbase 仅对以下请求收费 original_status 成功 (200, 201, 204)，永久重定向 (301)，临时重定向 (302) 如果跟随重定向返回内容，未找到 (410, 404)。 什么时候 pc_status 是 200。任何其他 original_status 收到的代码将不收费。

# 电脑状态

Crawlbase (pc) 状态代码可以是任何状态代码，并且它是最终有效的代码。
例如，一个网站可能会返回 original_status 200 带有验证码，在这种情况下， pc_status 将是503。

任何非标准代码（如 601、999 等）均用于内部工程团队，仅用于在联系支持时帮助您调试问题。

请注意： 向 Crawlbase 发出的请求最终失败 pc_status 代码（与 200 不同）不会收费。

# 身体

此参数仅在 json 中可用 [格式]/zh-cn/crawling-api/parameters/#format), 在 html 中 format 将是响应本身的主体。

Crawlbase 通过代理抓取请求中发送的 url 而发现的页面内容。

← POST 请求 →

©2024 Crawlbase