# RID

VOTRE /rids endpoint est conçu pour fournir aux clients une liste globale de RID (ID de demande) à partir de la zone de stockage. Cette API prend en charge la pagination via un mécanisme de défilement, permettant une récupération efficace des données pour les grands ensembles de données.

# Paramètres

Le seul paramètre requis est le token. Voir ci-dessous les paramètres supplémentaires à utiliser pour une extraction efficace des RID :

  • limit (facultatif) : spécifie le nombre maximal de RID à renvoyer. La valeur par défaut est 10 1, avec une valeur maximale autorisée de XNUMX XNUMX. Utilisez ce paramètre pour contrôler la taille des données renvoyées.

  • scroll (facultatif) : lorsqu'il est défini sur true, ce paramètre active la pagination par défilement pour la requête. Il lance une session de défilement qui fournit une scroll_id utilisé pour les demandes ultérieures.

  • scroll_id (facultatif) : identifiant d'une réponse à une requête précédente pour récupérer le prochain ensemble de RID. Ce paramètre est utilisé pour la pagination.

  • scroll_order (facultatif) : détermine l'ordre des RID renvoyés. Les valeurs acceptables sont asc (ascendant) ou desc (décroissant). L'ordre par défaut est desc.

# Requêter

Pour récupérer les 100 derniers RID :

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&limit=100'

# Réponse

Une réponse réussie renverra un tableau de RID et, le cas échéant, un scroll_id pour une pagination ultérieure :

{
  "rids": ["RID1", "RID2", ...],
  "scroll_id": "dXVlcnlUaGVuRmV0Y2g7NTs1NDpDV..."
}
  • rids:Un tableau contenant les RID demandés.
  • scroll_id: Un jeton permettant de récupérer le prochain ensemble de résultats. Cette valeur est essentielle pour la pagination et est fournie lorsque davantage de données sont disponibles au-delà de la limite de la demande actuelle.

# Défilement

Pour naviguer efficacement dans de grands ensembles de données, les clients peuvent opter pour une pagination basée sur le défilement en définissant le scroll paramètre true. Cette méthode est idéale pour la récupération de données séquentielles lorsque la taille totale de l'ensemble de données dépasse la limit valeur maximale du paramètre.

# Demande initiale avec défilement

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&limit=100&scroll=true'

Cette requête démarre une session de défilement et renvoie le premier lot de RID avec un scroll_id, ce qui est essentiel pour récupérer le lot suivant.

# Récupération des lots suivants

Pour récupérer des RID supplémentaires, utilisez le scroll_id sans préciser le scroll paramètre à nouveau. Le scroll_id maintient l'état de la pagination.

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&scroll_id=dXVlcnlUaGVuRmV0Y2g7NTs1NDpDV...'

# Remarques.

Pour une utilisation efficace de la /rids API, veuillez prendre note de ce qui suit :

  • VOTRE limit Le plafond du paramètre à 10 k garantit des performances optimales du serveur et une gestion des ressources. Pagination via scroll_id pour accéder à de grands ensembles de données.

  • La demande initiale avec scroll=true lance la session de défilement. La réponse comprend un scroll_id pour la récupération ultérieure des données.

  • VOTRE scroll_id est essentiel pour une pagination continue. Assurez-vous de l'inclure dans les demandes de suivi jusqu'à ce que toutes les données souhaitées aient été récupérées.

  • Les sessions de défilement expirent après 15 secondes d'inactivité, après quoi le scroll_id devient invalide. Pour accéder à plus de données au-delà de cette période, lancez une nouvelle demande avec scroll=true.

  • Si vous recevez un message d'erreur indiquant, Scroll session has expired or is invalid, cela signifie que le contexte de défilement que vous essayez d'utiliser n'est plus disponible. Cela se produit généralement si le délai de défilement est écoulé. Dans ce cas, lancez une nouvelle demande de défilement.

En adhérant à ces directives et en utilisant efficacement les paramètres fournis, vous pouvez maximiser l'utilité et les performances de l' /rids point de terminaison pour leurs besoins de récupération de données.