# RIDs

Die /rids Der Endpunkt ist dafür ausgelegt, Clients eine Massenliste von RIDs (Request IDs) aus dem Speicherbereich bereitzustellen. Diese API unterstützt die Paginierung durch einen Scroll-Mechanismus und ermöglicht so einen effizienten Datenabruf für große Datensätze.

# Parameter

Der einzige erforderliche Parameter ist der token. Nachfolgend finden Sie die zusätzlichen Parameter, die zum effizienten Ziehen von RIDs verwendet werden sollen:

  • limit (optional): Gibt die maximale Anzahl der zurückzugebenden RIDs an. Der Standardwert ist 10, der maximal zulässige Wert ist 1. Verwenden Sie diesen Parameter, um die Größe der zurückgegebenen Daten zu steuern.

  • scroll (optional): Bei Einstellung auf trueaktiviert dieser Parameter die scrollbasierte Paginierung für die Anfrage. Er initiiert eine Scroll-Sitzung, die eine scroll_id wird für nachfolgende Anfragen verwendet.

  • scroll_id (optional): Eine Kennung aus der Antwort einer vorherigen Anfrage zum Abrufen des nächsten RID-Satzes. Dieser Parameter wird für die Paginierung verwendet.

  • scroll_order (optional): Bestimmt die Reihenfolge der zurückgegebenen RIDs. Zulässige Werte sind asc (aufsteigend) oder desc (absteigend). Die Standardreihenfolge ist desc.

# PREISANFRAGE (Request)

So rufen Sie die letzten 100 RIDs ab:

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&limit=100'

# Antwort

Eine erfolgreiche Antwort gibt ein Array von RIDs zurück und, falls zutreffend, eine scroll_id zur weiteren Paginierung:

{
  "rids": ["RID1", "RID2", ...],
  "scroll_id": "dXVlcnlUaGVuRmV0Y2g7NTs1NDpDV..."
}
  • rids: Ein Array, das die angeforderten RIDs enthält.
  • scroll_id: Ein Token zum Abrufen des nächsten Ergebnissatzes. Dieser Wert ist für die Paginierung wichtig und wird bereitgestellt, wenn mehr Daten verfügbar sind als das Limit der aktuellen Anfrage.

# Scrolling

Um effizient durch große Datensätze zu navigieren, können Kunden sich für eine scrollbasierte Paginierung entscheiden, indem sie die scroll Parameter trueDiese Methode ist ideal für den sequentiellen Datenabruf, bei dem die Gesamtgröße des Datensatzes den limit Maximalwert des Parameters.

# Erste Anfrage mit Scroll

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&limit=100&scroll=true'

Diese Anfrage startet eine Scroll-Sitzung und gibt den ersten Stapel von RIDs zusammen mit einem scroll_id, was für das Abrufen der nächsten Charge unerlässlich ist.

# Abrufen nachfolgender Batches

Um zusätzliche RIDs abzurufen, verwenden Sie die bereitgestellte scroll_id ohne dies anzugeben scroll Parameter erneut. Der scroll_id behält den Status der Seitennummerierung bei.

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&scroll_id=dXVlcnlUaGVuRmV0Y2g7NTs1NDpDV...'

# Notizen

Für eine effiziente Nutzung der /rids API, beachten Sie bitte Folgendes:

  • Die limit Die Begrenzung des Parameters auf 10k sorgt für optimale Serverleistung und Ressourcenverwaltung. Paginierung über scroll_id für den Zugriff auf große Datensätze.

  • Die erste Anfrage mit scroll=true initiiert die Scroll-Sitzung. Die Antwort enthält eine scroll_id für den späteren Datenabruf.

  • Die scroll_id ist für eine kontinuierliche Paginierung von entscheidender Bedeutung. Stellen Sie sicher, dass Sie es in Folgeanfragen einbeziehen, bis alle gewünschten Daten abgerufen wurden.

  • Scroll-Sitzungen laufen nach 15 Sekunden Inaktivität ab. Danach scroll_id ungültig wird. Um über diesen Zeitraum hinaus auf weitere Daten zuzugreifen, initiieren Sie eine neue Anfrage mit scroll=true.

  • Wenn Sie eine Fehlermeldung erhalten, die besagt, Scroll session has expired or is invalidbedeutet dies, dass der Scroll-Kontext, den Sie verwenden möchten, nicht mehr verfügbar ist. Dies geschieht normalerweise, wenn das Scroll-Timeout abgelaufen ist. In diesem Fall initiieren Sie eine neue Scroll-Anforderung.

Durch die Einhaltung dieser Richtlinien und die effektive Nutzung der bereitgestellten Parameter können Sie den Nutzen und die Leistung des /rids Endpunkt für ihre Datenabrufanforderungen.