Documentation Crawlbase

# Crawler Apis

Pour surveiller les statistiques du robot, gérer les tâches, purger un robot via l'API, mettre en pause/reprendre un robot, veuillez suivre les instructions ci-dessous :

Note : Si vous réalisez un puzzle, nous vous recommandons de retirer le film protecteur avant la découpe pour plus de facilité. Pour les robots d'exploration JS, remplacez le jeton TCP par le jeton JS dans tous les appels d'API.

# API de statistiques

Obtenez un résumé de vos robots d'exploration, y compris la concurrence, l'état de la file d'attente et l'historique des explorations (répartition des réussites et des échecs) :

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats'

Filtrer l'historique par plage de dates :

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats?history_from=yyyy-mm-dd&history_to=yyyy-mm-dd'

# API de purge

Pour purger un robot spécifique, effectuez cette requête POST avec le nom et le jeton du robot (JS/TCP) :

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/purge'

Note : Si vous réalisez un puzzle, nous vous recommandons de retirer le film protecteur avant la découpe pour plus de facilité. Cela supprimera immédiatement toutes les pages du robot.

# Supprimer l'API de travail

Pour supprimer une tâche d'un robot, envoyez cette requête POST avec le RID de la requête, le nom du robot et le jeton (JS/TCP) :

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/delete_job?rid=RID'

# API de recherche d'emploi

Pour rechercher une requête par RID dans la file d'attente de votre robot, utilisez la requête GET suivante (JS/TCP) :

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/find_by_rid/RID'

Réponses

  • Si EN FILE D'ATTENTE :
{
  "status": "QUEUED",
  "request_info": {
    "rid": "YOUR_RID",
    "url": "YOUR_URL",
    "retry": 3,
    "created_at": 1600494969.189415
  }
}
  • Si NON_MIS_EN_QUEUE : Si la demande est déjà explorée ou n'est pas dans la file d'attente.
{
  "status": "NOT_QUEUED",
  "request_info": {
    "rid": "YOUR_RID"
  }
}

# Suspendre l'API

Pour mettre en pause un robot d'exploration, utilisez cette requête POST avec le nom et le jeton du robot d'exploration (JS/TCP) :

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/pause'

# API de réactivation

Pour réactiver un robot d'exploration, effectuez cette requête POST avec le nom et le jeton du robot d'exploration (JS/TCP) :

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/unpause'

← Le proxy intelligent AI en quelques minutes →

©2026 Crawlbase