# RID
VOTRE /rids
endpoint est conçu pour fournir aux clients une liste globale de RID (ID de demande) à partir de la zone de stockage. Cette API prend en charge la pagination via un mécanisme de défilement, permettant une récupération efficace des données pour les grands ensembles de données.
# Paramètres
Le seul paramètre requis est le token
. Voir ci-dessous les paramètres supplémentaires à utiliser pour une extraction efficace des RID :
limit
(facultatif) : spécifie le nombre maximal de RID à renvoyer. La valeur par défaut est 10 1, avec une valeur maximale autorisée de XNUMX XNUMX. Utilisez ce paramètre pour contrôler la taille des données renvoyées.scroll
(facultatif) : lorsqu'il est défini surtrue
, ce paramètre active la pagination par défilement pour la requête. Il lance une session de défilement qui fournit unescroll_id
utilisé pour les demandes ultérieures.scroll_id
(facultatif) : identifiant d'une réponse à une requête précédente pour récupérer le prochain ensemble de RID. Ce paramètre est utilisé pour la pagination.scroll_order
(facultatif) : détermine l'ordre des RID renvoyés. Les valeurs acceptables sontasc
(ascendant) oudesc
(décroissant). L'ordre par défaut estdesc
.
# Requêter
Pour récupérer les 100 derniers RID :
curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&limit=100'
# Réponse
Une réponse réussie renverra un tableau de RID et, le cas échéant, un scroll_id
pour une pagination ultérieure :
{
"rids": ["RID1", "RID2", ...],
"scroll_id": "dXVlcnlUaGVuRmV0Y2g7NTs1NDpDV..."
}
rids
:Un tableau contenant les RID demandés.scroll_id
: Un jeton permettant de récupérer le prochain ensemble de résultats. Cette valeur est essentielle pour la pagination et est fournie lorsque davantage de données sont disponibles au-delà de la limite de la demande actuelle.
# Défilement
Pour naviguer efficacement dans de grands ensembles de données, les clients peuvent opter pour une pagination basée sur le défilement en définissant le scroll
paramètre true
. Cette méthode est idéale pour la récupération de données séquentielles lorsque la taille totale de l'ensemble de données dépasse la limit
valeur maximale du paramètre.
# Demande initiale avec défilement
curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&limit=100&scroll=true'
Cette requête démarre une session de défilement et renvoie le premier lot de RID avec un scroll_id
, ce qui est essentiel pour récupérer le lot suivant.
# Récupération des lots suivants
Pour récupérer des RID supplémentaires, utilisez le scroll_id
sans préciser le scroll
paramètre à nouveau. Le scroll_id
maintient l'état de la pagination.
curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&scroll_id=dXVlcnlUaGVuRmV0Y2g7NTs1NDpDV...'
# Remarques.
Pour une utilisation efficace de la /rids
API, veuillez prendre note de ce qui suit :
VOTRE
limit
Le plafond du paramètre à 10 k garantit des performances optimales du serveur et une gestion des ressources. Pagination viascroll_id
pour accéder à de grands ensembles de données.La demande initiale avec
scroll=true
lance la session de défilement. La réponse comprend unscroll_id
pour la récupération ultérieure des données.VOTRE
scroll_id
est essentiel pour une pagination continue. Assurez-vous de l'inclure dans les demandes de suivi jusqu'à ce que toutes les données souhaitées aient été récupérées.Les sessions de défilement expirent après 15 secondes d'inactivité, après quoi le
scroll_id
devient invalide. Pour accéder à plus de données au-delà de cette période, lancez une nouvelle demande avecscroll=true
.Si vous recevez un message d'erreur indiquant,
Scroll session has expired or is invalid
, cela signifie que le contexte de défilement que vous essayez d'utiliser n'est plus disponible. Cela se produit généralement si le délai de défilement est écoulé. Dans ce cas, lancez une nouvelle demande de défilement.
En adhérant à ces directives et en utilisant efficacement les paramètres fournis, vous pouvez maximiser l'utilité et les performances de l' /rids
point de terminaison pour leurs besoins de récupération de données.