# 如何运作的?

如果要在代理后面使用爬取API,请参考文档 Smart Proxy (打开新窗口) (opens new window) 产品。如果您不想购买 Smart Proxy 订阅或您想使用所有功能 Crawling API 没有限制和更高的速率限制,那么请继续阅读下一段。

全部 Crawling API 在代理模式下调用应该转到 smartproxy.crawlbase.com 使用您的访问令牌作为代理用户名。您可以根据需要使用 HTTPS(推荐端口 8001)或 HTTP(端口 8000)。请注意,这些端口与 Smart Proxy,因此请确保使用正确的端口。 Smart Proxy 文档保持不变。

因此,你的第一个通话非常简单,只需在终端中运行以下几行代码之一即可。快来尝试一下吧!

使用 HTTPS(推荐):

curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"

使用 HTTP 替代方案:

curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"

要执行 JavaScript 请求(无头浏览器)而不是普通请求,请继续在终端中尝试以下操作:

使用 HTTPS(推荐):

curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"

使用 HTTP 替代方案:

curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"

# 速率限制

默认情况下 Crawling API 代理模式下的速率限制为每秒 20 个请求(每天 1.728M 个请求)。如果您的代理管理解决方案使用的是并发请求/线程而不是每秒请求,则需要注意的是,每秒 20 个请求通常会转换为更多的并发请求。例如,如果您使用 crawlbase 爬取亚马逊,平均请求需要大约 4 秒,因此每秒 20 个请求会转换为 80 个并发线程。如果您正在爬取的网站响应很快,那么您需要的并发请求就更少。如果您达到并发请求的限制,请 联系支持 (打开新窗口) (opens new window) 与您的用例一起增加您的并发性。