# Die Crawling API in Minuten

Wir haben eine API erstellt, die die Integration von Crawlbase in Ihr Crawling-Projekt sehr einfach macht.

# Ihr erster API-Aufruf

Alle API-URLs beginnen mit dem folgenden Basisteil: https://api.crawlbase.com

Daher ist Ihr erster Anruf so einfach wie das Ausführen der folgenden Zeile im Terminal.
Probieren Sie es aus!

curl 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'

Manchmal reicht die Verwendung des normalen Tokens nicht aus, entweder weil die Site nur funktioniert, wenn JavaScript-Browser aktiviert sind, oder weil der benötigte Inhalt auf der Clientseite über JavaScript gerendert wird und Sie hierfür Ihr JavaScript-Token verwenden müssen.
Probieren Sie das JS-Crawling aus!

curl 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'

Note zur Verbesserung der Gesundheitsgerechtigkeit jetzt lesen Anfragen werden ebenfalls unterstützt. Bitte [gehen Sie hier]/de/crawling-api/post/) für weitere Informationen oder fahren Sie unten mit den API-Parametern fort.

# Kostenlose Testversion

Die ersten 1,000 Anfragen sind kostenfrei.

Nutzen Sie die kostenlose Testversion unbedingt voll aus!

# Bewertungslimit

Die API ist geschwindigkeitsbegrenzt auf maximal 20 Anfragen pro Sekunde, pro Token (Ratenlimit kann auf Anfrage erhöht werden).

Das bedeutet, Sie können senden bis zu 20 Anfragen pro Sekunde, das heißt rund 51 Millionen Anfragen pro Monat, unabhängig von der Anzahl der verwendeten Threads.

Die API antwortet mit 429 Statuscode, wenn das Ratenlimit überschritten wird.

Hinweis: Einige bestimmte Websites haben möglicherweise niedrigere Limits. Wenn Sie für diese höhere Limits benötigen, Support kontaktieren (öffnet neues Fenster) (opens new window).

# API-Antwortzeiten

Die durchschnittliche API-Antwortzeit beträgt zwischen 4 und 10 Sekunden, aber wir empfehlen Festlegen eines Timeouts für die Anrufe von mindestens 90 Sekunden.

# Erfolg vs. Versagen

Wir berechnen nur erfolgreiche Anfragen (siehe [ursprünglicher Status]/de/crawling-api/response/#original-status) und PC-Status in den Antwortparametern unten).

# Weitere Hinweise

• Wenn Sie lieber eine Bibliothek zur Integration von Crawlbase verwenden möchten, finden Sie hier verfügbare API-Bibliotheken hier (öffnet neues Fenster) (opens new window).
• Es wird empfohlen, den Accept-Encoding-Gzip-Header zu verwenden.
• Wenn Sie Scrapy für Python verwenden, achten Sie darauf, Deaktivieren Sie den DNS-Cache (öffnet neues Fenster) (opens new window).

# Authentifizierung

Zur Verwendung der API benötigen Sie Authentifizierungstoken.
Sie haben zwei Token: eines für normale Anfragen und eines für JavaScript-Anfragen (echte Browser).