# Wie funktioniert es?

Wenn Sie die Crawling-API hinter einem Proxy verwenden möchten, lesen Sie bitte die Dokumentation des Intelligenter Proxy (öffnet neues Fenster) (opens new window) Produkt. Wenn Sie kein Smart Proxy-Abonnement erwerben möchten oder alle Funktionen der Crawling-API ohne Einschränkungen und mit einem höheren Ratenlimit nutzen möchten, lesen Sie bitte den folgenden Absatz weiter.

Alle Crawling-API-Aufrufe im Proxy-Modus sollten an http://smartproxy.crawlbase.com und Hafen 8000 Verwenden Sie Ihren Zugriffstoken als Proxy-Benutzernamen. Beachten Sie, dass der hier verwendete Port sich von dem Port unterscheidet, der im Smart Proxy verwendet wird. Stellen Sie daher sicher, dass Sie den richtigen Port verwenden. Alles andere, was in der Smart Proxy-Dokumentation erwähnt wird, bleibt gleich.

Daher ist Ihr erster Anruf so einfach wie das Ausführen der folgenden Zeile im Terminal. Probieren Sie es aus!

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

Um JavaScript-Anfragen (Headless-Browser) anstelle von normalen Anfragen zu stellen, versuchen Sie Folgendes in Ihrem Terminal:

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

# Bewertungslimit

Standardmäßig ist die Crawling-API im Proxy-Modus auf 20 Anfragen pro Sekunde (1.728 M Anfragen/Tag) begrenzt. Wenn Ihre Proxy-Management-Lösung mit gleichzeitigen Anfragen/Threads statt mit Anfragen pro Sekunde arbeitet, ist es wichtig zu beachten, dass 20 Anfragen pro Sekunde im Allgemeinen viel mehr gleichzeitige Anfragen bedeuten. Wenn Sie beispielsweise Amazon mit Crawlbase crawlen, dauert die durchschnittliche Anfrage etwa 4 Sekunden, daher entsprechen 20 Anfragen pro Sekunde 80 gleichzeitigen Threads. Wenn die von Ihnen gecrawlte Website schnell antwortet, benötigen Sie weniger gleichzeitige Anfragen. Wenn Sie das Limit gleichzeitiger Anfragen erreichen, Support kontaktieren (öffnet neues Fenster) (opens new window) mit Ihrem Anwendungsfall, um Ihre Parallelität zu erhöhen.