# Как это работает?
Если вы хотите использовать API сканирования через прокси-сервер, обратитесь к документации Smart Proxy (открывается новое окно) (opens new window) продукт. Если вы не хотите покупать Smart Proxy подписка или вы хотите использовать все возможности Crawling API без ограничений и более высокого лимита ставки, то, пожалуйста, продолжайте читать следующий абзац.
Все Crawling API в режиме прокси-сервера звонки должны идти на smartproxy.crawlbase.com используя ваш токен доступа в качестве имени пользователя прокси. Вы можете использовать HTTPS (порт 8001, рекомендуется) или HTTP (порт 8000) в зависимости от ваших потребностей. Обратите внимание, что эти порты отличаются от портов, используемых в Smart Proxy, поэтому убедитесь, что используете правильные порты. Все остальное, что упоминается в Smart Proxy документация остается прежней.
Поэтому сделать свой первый звонок так же просто, как запустить одну из следующих строк в терминале. Попробуйте!
Использование HTTPS (рекомендуется):
curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"
Использование альтернативного HTTP:
curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"
Чтобы выполнять запросы JavaScript (headless-браузер) вместо обычных запросов, попробуйте выполнить в терминале следующее:
Использование HTTPS (рекомендуется):
curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"
Использование альтернативного HTTP:
curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"
# Предел скорости
По умолчанию Crawling API в режиме прокси скорость ограничена 20 запросами в секунду (1.728 млн запросов в день). Если ваше решение по управлению прокси работает с параллельными запросами/потоками вместо запросов в секунду, важно отметить, что 20 запросов в секунду преобразуются в гораздо большее количество параллельных запросов в целом. Например, если вы сканируете Amazon с помощью crawlbase, средний запрос занимает около 4 секунд, поэтому 20 запросов в секунду преобразуются в 80 параллельных потоков. Если сканируемый вами веб-сайт отвечает быстро, то вам нужно меньше параллельных запросов. Если вы достигли предела параллельных запросов, пожалуйста, обратитесь в службу поддержки, (открывается новое окно) (opens new window) с вашим вариантом использования для увеличения параллелизма.