# Команда Crawling API в считанные минуты

Мы создали API, который упростит интеграцию Crawlbase в вашем проекте сканирования очень легко.

# Ваш первый вызов API

Все URL-адреса API начинаются со следующей базовой части: https://api.crawlbase.com

Поэтому сделать свой первый звонок так же просто, как запустить следующую команду в терминале.
Попробуйте!

curl 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'

Иногда использования обычного токена недостаточно, либо потому, что сайт работает только при включенных браузерах JavaScript, либо потому, что необходимый вам контент отображается с помощью JavaScript на стороне клиента, для этого вам нужно использовать свой токен JavaScript.
Продолжайте и попробуйте сканирование JS!

curl 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'

Внимание которые POST Запросы также поддерживаются. Пожалуйста иди сюда для получения дополнительной информации или продолжите ниже с параметрами API.

# Бесплатная пробная версия

Первые 1,000 запросов бесплатны.

Обязательно используйте бесплатную пробную версию в полном объеме!

# Ограничение скорости

Скорость API ограничена максимумом 20 XNUMX запросов в секунду, за токен (лимит скорости может быть увеличен по запросу).

Это означает, что вы можете отправить до 20 запросов в секунду, что составляет около 51 миллиона запросов в месяц, независимо от количества используемых потоков.

API ответит 429 код статуса при превышении лимита скорости.

Примечание: Некоторые определенные веб-сайты могут иметь более низкие лимиты. Если вам требуются более высокие лимиты на них, пожалуйста обратитесь в службу поддержки, (открывается новое окно) (opens new window).

# Время отклика API

Среднее время ответа API составляет от 4 до 10 секунд, но мы рекомендуем установка тайм-аута для звонков не менее 90 секунд.

# Успех против неудачи

Мы взимаем плату только за успешные запросы (см. исходный статус и статус ПК в параметрах ответа ниже).

# Другие примечания

• Если вы предпочитаете использовать библиотеку для интеграции Crawlbase, вы можете увидеть доступные Библиотеки API здесь (открывается новое окно) (opens new window).
• Рекомендуется использовать gzip-заголовок Accept-Encoding.
• Если вы используете Scrapy для Python, убедитесь, что отключить DNS-кэш (открывается новое окно) (opens new window).

# Аутентификация

Для использования API вам понадобятся токены аутентификации.
У вас есть два токена: один для обычных запросов и другой для запросов JavaScript (реальные браузеры).