# параметры

Команда Scraper API имеет следующие параметры, Обязательными являются только токен и URL, остальные необязательны.

# знак

• необходимые
• Тип string

Этот параметр обязателен для всех вызовов.

Это ваш токен аутентификации. Все ваши запросы должны быть авторизованы вашим личным токеном.

curl "https://api.crawlbase.com/scraper?token=_USER_TOKEN_&url=https%3A%2F%2Fwww.amazon.com%2Fdp%2FB00JITDVD2"

require 'net/http'

uri = URI('https://api.crawlbase.com/scraper')
uri.query = URI.encode_www_form({
  token: '_USER_TOKEN_',
  url: 'https://www.amazon.com/dp/B00JITDVD2'})

res = Net::HTTP.get_response(uri)
puts "Response HTTP Status Code: \#{res.code}"
puts "Response HTTP Header Original Status: \#{res['original_status']}"
puts "Response HTTP Response Body: \#{res.body}"

const https = require('https');

const url = encodeURIComponent('https://www.amazon.com/dp/B00JITDVD2');
const options = {
  hostname: 'api.crawlbase.com',
  path: '/scraper?token=_USER_TOKEN_&url=' + url
};

https.request(options, (response) => {
  let body = '';
  response.on('data', chunk => body += chunk).on('end', () => console.log(body));
}).end();

$url = urlencode('https://www.amazon.com/dp/B00JITDVD2');

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://api.crawlbase.com/scraper?token=_USER_TOKEN_&url=' . $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$response = curl_exec($ch);
curl_close($ch);

var_dump($response);

from urllib2 import urlopen
from urllib import quote_plus

url = quote_plus('https://www.amazon.com/dp/B00JITDVD2')

handler = urlopen('https://api.crawlbase.com/scraper?token=_USER_TOKEN_&url=' + url)

package main

import (
  "net/http"
  "fmt"
  "io/ioutil"
  "net/url"
)

func main() {
  url := url.QueryEscape("https://www.amazon.com/dp/B00JITDVD2")
  resp, _ := http.Get("https://api.crawlbase.com/scraper?token=_USER_TOKEN_&url=" + url)

  defer resp.Body.Close()
  body, _ := ioutil.ReadAll(resp.Body)

  fmt.Println("response Body: ", string(body))

# URL

• необходимые
• Тип string

Этот параметр обязателен для всех вызовов.

Вам понадобится URL для сканирования. Убедитесь, что он начинается с http или https и что полностью закодирован.

Например, в следующем URL-адресе: https://www.amazon.com/Jabra-Move-Wireless-Stereo-Headphones/dp/B00MR8Z28S/ URL-адрес должен быть закодирован при вызове API следующим образом: https%3A%2F%2Fwww.amazon.com%2FJabra-Move-Wireless-Stereo-Headphones%2Fdp%2FB00MR8Z28S%2F

curl "https://api.crawlbase.com/scraper?token=_USER_TOKEN_&url=https%3A%2F%2Fwww.instagram.com%2Fp%2FB5LQhLiFFCX"

require 'net/http'

uri = URI('https://api.crawlbase.com/scraper')
uri.query = URI.encode_www_form({
  token: '_USER_TOKEN_',
  url: 'https://www.instagram.com/p/B5LQhLiFFCX'})

res = Net::HTTP.get_response(uri)
puts "Response HTTP Status Code: \#{res.code}"
puts "Response HTTP Header Original Status: \#{res['original_status']}"
puts "Response HTTP Response Body: \#{res.body}"

const https = require('https');

const url = encodeURIComponent('https://www.instagram.com/p/B5LQhLiFFCX');
const options = {
  hostname: 'api.crawlbase.com',
  path: '/scraper?token=_USER_TOKEN_&url=' + url
};

https.request(options, (response) => {
  let body = '';
  response.on('data', chunk => body += chunk).on('end', () => console.log(body));
}).end();

$url = urlencode('https://www.instagram.com/p/B5LQhLiFFCX');

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://api.crawlbase.com/scraper?token=_USER_TOKEN_&url=' . $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$response = curl_exec($ch);
curl_close($ch);

var_dump($response);

from urllib2 import urlopen
from urllib import quote_plus

url = quote_plus('https://www.instagram.com/p/B5LQhLiFFCX')

handler = urlopen('https://api.crawlbase.com/scraper?token=_USER_TOKEN_&url=' + url)

print handler.read()

package main

import (
  "net/http"
  "fmt"
  "io/ioutil"
  "net/url"
)

func main() {
  url := url.QueryEscape("https://www.instagram.com/p/B5LQhLiFFCX")
  resp, _ := http.Get("https://api.crawlbase.com/scraper?token=_USER_TOKEN_&url=" + url)

  defer resp.Body.Close()
  body, _ := ioutil.ReadAll(resp.Body)

  fmt.Println("response Body: ", string(body))

# страна

• По желанию
• Тип string

Если вы хотите, чтобы ваши запросы были геолоцированы из определенной страны, вы можете использовать &country= параметр, как &country=US (двухбуквенный код страны).

Пожалуйста, проверьте список поддерживаемых стран в Crawling API параметр страны.

Запросы на геолокацию доступны в зависимости от вашей подписки. Если ваша текущая подписка не допускает геолокационные запросы, пожалуйста, обновите подписку.

# Javascript

• По желанию
• Тип boolean

Если вы хотите, чтобы ваши запросы отображались в реальных браузерах Chrome, вы можете использовать &javascript=true параметр. Обратите внимание, что использование javascript параметр потребляет 2 кредита из общего количества кредитов вашей подписки.

Браузерные запросы на скрапинг доступны в зависимости от вашей подписки. Если ваша текущая подписка не допускает запросы JavaScript, пожалуйста, обновите подписку.

# премия

• По желанию
• Тип boolean

Если вы хотите, чтобы ваши запросы проходили через премиальные жилые сети, вы можете использовать &premium=true параметр. Обратите внимание, что использование параметра премиум потребляет 10 кредитов из общего количества кредитов вашей подписки. Если вы объединяете &premium=true &javascript=true на что расходуется 20 кредитов из общего количества кредитов вашей подписки.

Запросы на премиум-скрейпинг доступны в зависимости от вашей подписки. Если ваша текущая подписка не позволяет премиум-запросы, пожалуйста, обновите подписку.