# Wie funktioniert es?
Wenn Sie die Crawling-API hinter einem Proxy verwenden möchten, lesen Sie bitte die Dokumentation des Intelligenter KI-Proxy (öffnet neues Fenster) (opens new window) Produkt. Wenn Sie kein Smart AI Proxy-Abonnement erwerben möchten oder alle Funktionen des Crawling API ohne Einschränkungen und mit einer höheren Ratenbegrenzung, dann lesen Sie bitte den folgenden Absatz weiter.
Alle Crawling API im Proxy-Modus sollten Anrufe an smartproxy.crawlbase.com Verwenden Sie Ihren Zugriffstoken als Proxy-Benutzernamen. Sie können je nach Bedarf entweder HTTPS (Port 8001, empfohlen) oder HTTP (Port 8000) verwenden. Beachten Sie, dass sich diese Ports von den im Smart AI Proxy verwendeten Ports unterscheiden. Stellen Sie daher sicher, dass Sie die richtigen Ports verwenden. Alle anderen Angaben in der Smart AI Proxy-Dokumentation bleiben unverändert.
Daher ist Ihr erster Anruf so einfach wie das Ausführen einer der folgenden Zeilen im Terminal. Probieren Sie es aus!
Verwendung von HTTPS (empfohlen):
curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"
HTTP-Alternative verwenden:
curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"
Um JavaScript-Anfragen (Headless-Browser) anstelle von normalen Anfragen zu stellen, versuchen Sie Folgendes in Ihrem Terminal:
Verwendung von HTTPS (empfohlen):
curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"
HTTP-Alternative verwenden:
curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"
# Bewertungslimit
Standardmäßig ist der Crawling API im Proxy-Modus ist die Rate auf 20 Anfragen pro Sekunde (1.728 M Anfragen/Tag) begrenzt. Wenn Ihre Proxy-Management-Lösung mit gleichzeitigen Anfragen/Threads statt mit Anfragen pro Sekunde arbeitet, ist es wichtig zu beachten, dass 20 Anfragen pro Sekunde im Allgemeinen viel mehr gleichzeitige Anfragen bedeuten. Wenn Sie beispielsweise Amazon mit Crawlbase crawlen, dauert die durchschnittliche Anfrage etwa 4 Sekunden, daher entsprechen 20 Anfragen pro Sekunde 80 gleichzeitigen Threads. Wenn die von Ihnen gecrawlte Website schnell antwortet, benötigen Sie weniger gleichzeitige Anfragen. Wenn Sie das Limit gleichzeitiger Anfragen erreichen, bitte Support kontaktieren (öffnet neues Fenster) (opens new window) mit Ihrem Anwendungsfall, um Ihre Parallelität zu erhöhen.