# Режимы секции мощности

При выполнении запроса Crawlbase вы получите ответ.

Этот ответ будет представлять собой объект JSON или HTML-код страницы в зависимости от выбранного вами параметра. формат параметр (по умолчанию html).

# HTML-ответ

Если вы выбрали формат ответа HTML (который используется по умолчанию), в качестве ответа вы получите HTML-код страницы.

Команда параметры ответа будут добавлены в заголовки ответа.

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=html'
Response:
  Headers:
    url: https://github.com/crawlbase?tab=repositories
    original_status: 200
    pc_status: 200
    'X-Domain-Complexity': standard

  Body:
    &lt;!doctype html&gt;&lt;html class="a-no-js" data-19ax5a9jf="dingo"&gt;&lt;!-- sp:feature:head-start --&gt;
    &lt;head&gt;&lt;script&gt;var aPageStart = (new Date()).getTime();&lt;/script&gt;&lt;meta charset="utf-8"&gt;
    ... (all the html of the page)

# Ответ JSON

Если вы выбрали формат ответа JSON, вы получите объект JSON, который можно проанализировать.

Этот объект содержит всю необходимую вам информацию. Читать параметры ответа за всю информацию.

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=json'
Response:
{
  "original_status": "200",
  "pc_status": 200,
  "url": "https://github.com/crawlbase?tab=repositories",
  "domain_complexity": "standard",
  "body": "\u003C!doctype html\u003E\u003Chtml class=\"a-no-js\" data-19ax5a9jf\n... (all the html of the page)"
}

# Заголовки

Как вы видели в примерах выше, ответ, json или html, вернет параметры для json или заголовки для html, что позволит вам узнать, что произошло с запросом.

# URL

Исходный URL, который был отправлен в запросе, или URL перенаправления, который Crawlbase последовало.

# оригинальный_статус

Статус ответа, который мы (Crawlbase) получаем при сканировании URL-адреса, отправленного в запросе.

Это может быть любой действительный код статуса http.

Обратите внимание, что Crawlbase только запросы на оплату, которые имеют original_status успех (200, 201, 204), постоянное перенаправление (301), временное перенаправление (302), если последующее перенаправление вернуло контент, не найдено (410, 404). И когда pc_status 200. Любое другое original_status Полученные коды не будут оплачены.

# pc_status

Команда Crawlbase Код состояния (ПК) может быть любым кодом состояния, и именно этот код в конечном итоге оказывается действительным.
Например, веб-сайт может возвращать original_status 200 с капчей, в таком случае, pc_status будет 503.

Любой код, который не является стандартным, например 601, 999 и т. д., используется внутри компании инженерной группой и предоставляется только для устранения неполадок при обращении в службу поддержки.

пожалуйста, обратите внимание что запросы, сделанные Crawlbase что заканчивается неудачей pc_status код (так отличающийся от 200) не будет списан.

# X-Домен-Сложность

Уровень сложности показывает, насколько сложно сканировать или сканировать определенный домен, а также отражает соответствующие требования к ресурсам и ценам:

standard – Домены, которые легко сканировать или скрейпить, с минимальными мерами защиты. Такие домены обычно имеют самую низкую ценовую категорию.
moderate – Домены с умеренной защитой от ботов, требующие специализированной обработки. Такие домены обычно имеют промежуточный ценовой уровень и требуют больше ресурсов для обработки.
complex – Домены с передовыми системами защиты, которые сложно сканировать или скрейпить. Для этого требуются передовые методы и специализированные ресурсы, что отражено в самом высоком ценовом уровне.

Понимание уровня сложности различных доменов поможет вам оценить потенциальные цены и технические соображения для ваших задач сканирования. Для получения конкретной информации о ценах на основе уровней сложности домена, пожалуйста, обратитесь к вашему плану подписки или свяжитесь с нашей командой по продажам через Контакт.

# тело

Этот параметр доступен только в формате json. формат, в html format будет являться текстом самого ответа.

Содержание страницы, которая Crawlbase найдено в результате сканирования прокси-сервером URL-адреса, отправленного в запросе.

← параметры POST запросы →