# Wie funktioniert es?
Wenn Sie die Crawling-API hinter einem Proxy verwenden möchten, lesen Sie bitte die Dokumentation des Smart Proxy (öffnet neues Fenster) (opens new window) Produkt. Wenn Sie kein Smart Proxy Abonnement oder Sie möchten alle Funktionen des Crawling API ohne Einschränkungen und mit einer höheren Ratenbegrenzung, dann lesen Sie bitte den folgenden Absatz weiter.
Alle Crawling API im Proxy-Modus sollten Anrufe an smartproxy.crawlbase.com Verwenden Sie Ihren Zugriffstoken als Proxy-Benutzernamen. Sie können je nach Bedarf entweder HTTPS (Port 8001, empfohlen) oder HTTP (Port 8000) verwenden. Beachten Sie, dass sich diese Ports von den in der Smart Proxy, also stellen Sie sicher, dass Sie die richtigen Ports verwenden. Alles andere, was in der Smart Proxy Die Dokumentation bleibt gleich.
Daher ist Ihr erster Anruf so einfach wie das Ausführen einer der folgenden Zeilen im Terminal. Probieren Sie es aus!
Verwendung von HTTPS (empfohlen):
curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"
HTTP-Alternative verwenden:
curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"
Um JavaScript-Anfragen (Headless-Browser) anstelle von normalen Anfragen zu stellen, versuchen Sie Folgendes in Ihrem Terminal:
Verwendung von HTTPS (empfohlen):
curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"
HTTP-Alternative verwenden:
curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"
# Bewertungslimit
Standardmäßig ist der Crawling API im Proxy-Modus ist die Rate auf 20 Anfragen pro Sekunde (1.728 M Anfragen/Tag) begrenzt. Wenn Ihre Proxy-Management-Lösung mit gleichzeitigen Anfragen/Threads statt mit Anfragen pro Sekunde arbeitet, ist es wichtig zu beachten, dass 20 Anfragen pro Sekunde im Allgemeinen viel mehr gleichzeitige Anfragen bedeuten. Wenn Sie beispielsweise Amazon mit Crawlbase crawlen, dauert die durchschnittliche Anfrage etwa 4 Sekunden, daher entsprechen 20 Anfragen pro Sekunde 80 gleichzeitigen Threads. Wenn die von Ihnen gecrawlte Website schnell antwortet, benötigen Sie weniger gleichzeitige Anfragen. Wenn Sie das Limit gleichzeitiger Anfragen erreichen, bitte Support kontaktieren (öffnet neues Fenster) (opens new window) mit Ihrem Anwendungsfall, um Ihre Parallelität zu erhöhen.