# 如何运作的?

如果要在代理后面使用爬取API,请参考文档 智能代理 (打开新窗口) (opens new window) 产品。 如果您不想购买智能代理订阅,或者您想不受限制地使用 Crawling API 的所有功能和更高的速率限制,请继续阅读以下段落。

代理模式调用中的所有 Crawling API 都应转到 http://smartproxy.crawlbase.com 和端口 8000 使用您的访问令牌作为代理用户名。 请注意,此处使用的端口与 Smart Proxy 中使用的端口不同,因此请确保使用正确的端口,Smart Proxy 文档中提及的其他所有内容都保持不变。

因此,拨打您的第一个电话就像在终端中运行以下行一样简单。 继续尝试!

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

要执行 JavaScript 请求(无头浏览器)而不是普通请求,请继续在终端中尝试以下操作:

curl -x "http://[email protected]:8000" -k "http://httpbin.org/ip"

# 速率限制

默认情况下,代理模式下的 Crawling API 的速率限制为每秒 20 个请求(1.728M 请求/天)。 如果您的代理管理解决方案使用并发请求/线程而不是每秒请求,请务必注意每秒 20 个请求通常会转换为更多并发请求。 例如,如果您使用 crawlbase 爬取亚马逊,平均请求大约需要 4 秒,因此每秒 20 个请求转换为 80 个并发线程。 如果您正在抓取的网站响应速度很快,那么您需要较少的并发请求。 如果您达到并发请求的限制,请 联系支持 (打开新窗口) (opens new window) 与您的用例一起增加您的并发性。