# Pour Smart Proxy en quelques minutes
Si votre application n'est pas conçue pour fonctionner avec une API basée sur HTTP/S pour explorer et extraire des sites Web comme celui-ci Crawling API, nous avons conçu un proxy rotatif intelligent qui transmet vos requêtes au Crawling APIVous l'utilisez simplement comme un proxy normal dans votre application.
Tous les appels proxy doivent être dirigés vers :
- HTTPS:
https://smartproxy.crawlbase.com
sur le port8013
(conseillé) - HTTP:
http://smartproxy.crawlbase.com
sur le port8012
en utilisant votre jeton d'accès comme nom d'utilisateur proxy.
Effectuer votre premier appel est donc aussi simple que d'exécuter l'une des lignes suivantes dans le terminal. N'hésitez pas à essayer !
Utilisation de HTTPS (recommandé) :
curl -x "https://[email protected]:8013" -k "https://httpbin.org/ip"
Utilisation de l'alternative HTTP :
curl -x "http://[email protected]:8012" -k "https://httpbin.org/ip"
# Comment cela fonctionne?
Lorsque vous envoyez une demande au proxy, le proxy autorisera votre demande en utilisant votre nom d'utilisateur d'autorisation de proxy, votre jeton d'accès privé ci-dessous. Il redirigera ensuite votre demande vers le Crawling API et renvoyez ensuite la réponse à votre application. Si vous avez besoin d'utiliser les fonctionnalités supplémentaires de Crawling API dans ce mode, vous devrez envoyer l'en-tête HTTP crawlbaseAPI-Parameters
et envoyez les options que vous souhaitez utiliser. Consultez la section exemples ci-dessous pour des exemples réels.
Jeton privé
_USER_TOKEN_
# NOTE IMPORTANTE
Lorsque vous faites des demandes via le Smart Proxy, vous devez désactiver la vérification SSL pour les URL de destination (en utilisant -k
(dans curl ou des options équivalentes dans d'autres langages). Ceci est nécessaire car le proxy doit inspecter et potentiellement modifier la requête/réponse pour fournir ses fonctionnalités intelligentes.