Documentation Crawlbase

# API de robot d'exploration

Pour surveiller les statistiques du robot, gérer les tâches, purger un robot via l'API, mettre en pause/reprendre un robot, veuillez suivre les instructions ci-dessous :

Remarque : Pour les robots d'exploration JS, remplacez le jeton TCP par le jeton JS dans tous les appels d'API.

# API de statistiques

Obtenez un résumé de vos robots d'exploration, y compris la concurrence, l'état de la file d'attente et l'historique des explorations (répartition des réussites et des échecs) :

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats'

Filtrer l'historique par plage de dates :

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats?history_from=yyyy-mm-dd&history_to=yyyy-mm-dd'

# API de purge

Pour purger un robot spécifique, effectuez cette requête POST avec le nom et le jeton du robot (JS/TCP) :

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/purge'

Remarque : Cela supprimera immédiatement toutes les pages du robot.

# Supprimer l'API de travail

Pour supprimer une tâche d'un robot, envoyez cette requête POST avec le RID de la requête, le nom du robot et le jeton (JS/TCP) :

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/delete_job?rid=RID'

# API de recherche d'emploi

Pour rechercher une requête par RID dans la file d'attente de votre robot, utilisez la requête GET suivante (JS/TCP) :

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/find_by_rid/RID'

Réponses

  • Si EN FILE D'ATTENTE :
{
  "status": "QUEUED",
  "request_info": {
    "rid": "YOUR_RID",
    "url": "YOUR_URL",
    "retry": 3,
    "created_at": 1600494969.189415
  }
}
  • Si NON_MIS_EN_QUEUE : Si la demande est déjà explorée ou n'est pas dans la file d'attente.
{
  "status": "NOT_QUEUED",
  "request_info": {
    "rid": "YOUR_RID"
  }
}

# Suspendre l'API

Pour mettre en pause un robot d'exploration, utilisez cette requête POST avec le nom et le jeton du robot d'exploration (JS/TCP) :

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/pause'

# API de réactivation

Pour réactiver un robot d'exploration, effectuez cette requête POST avec le nom et le jeton du robot d'exploration (JS/TCP) :

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/unpause'

← Le Smart Proxy en quelques minutes →

©2024 Crawlbase