# Gros Volume

VOTRE /bulk Le point de terminaison permet aux clients de récupérer des données en masse à l'aide d'une liste d'ID de demande (RID). Cette opération prend en charge la récupération efficace des données pour les grands ensembles de données et fournit une option permettant de supprimer automatiquement les éléments récupérés du stockage après la récupération.

# Paramètres

Envoyer un objet JSON avec les propriétés suivantes :

rids (obligatoire) : un tableau de RID pour les données que vous souhaitez récupérer.
auto_delete (facultatif) : un paramètre booléen qui, lorsqu'il est défini sur true, supprimera automatiquement les éléments récupérés du stockage après leur récupération. La valeur par défaut est false, ce qui signifie que les éléments ne seront pas supprimés sauf demande explicite.

# Requêter

Pour récupérer et supprimer automatiquement les données de trois RID :

curl -X POST 'https://api.crawlbase.com/storage/bulk?token=_USER_TOKEN_' \
-H 'Content-Type: application/json' \
-d '{ "rids": ["RID1","RID2","RID3"], "auto_delete": true }'

# Réponse

La réponse est un tableau JSON d'objets, chacun représentant les données d'un RID. Notez que le body Le champ est codé en base64 et compressé avec gzip. Vous devrez le décoder en base64 puis le décompresser avec gzip pour récupérer le contenu d'origine.

[
  {
    "stored_at": "2021-03-01T14:22:58+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID1",
    "url": "URL1",
    "body": "BODY1"
  },
  {
    "stored_at": "2021-03-01T14:30:51+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID2",
    "url": "URL2",
    "body": "BODY2"
  }
]

# Remarques.

Pour une utilisation efficace de la /bulk API, veuillez prendre note de ce qui suit :

Le nombre maximal de RID pouvant être traités par demande est de 100. Si plus de 100 RID sont envoyés, seuls les 100 premiers seront traités.
VOTRE auto_delete Cette fonctionnalité est particulièrement utile pour maintenir l'efficacité du stockage et gérer le cycle de vie des données sans nécessiter de demandes de suppression distinctes. Utilisez cette fonctionnalité judicieusement pour éviter toute perte de données involontaire.

← Supprimer RID →