# Headless-браузеры (рендеринг JavaScript)

Используйте токен JavaScript, когда контент, который необходимо сканировать, генерируется с помощью JavaScript, либо потому, что это страница, созданная с помощью JavaScript (React, Angular и т. д.), либо потому, что контент динамически генерируется в браузере.

# Как это работает?

Когда вы отправляете запрос, используя свой токен JavaScript, Crawling API, внутри мы позволяем вашему запросу работать на нашей headless браузерной инфраструктуре. Использование токена JS позволяет вам воспользоваться дополнительными функциями, такими как захват скриншотов изображений и обход блокировки веб-сайтов, которые работают только на браузерных сканерах. Проверьте параметры раздел со списком функций, которые вы можете использовать и которые доступны только при сканировании JS.

# Ограничение скорости JavaScript API

По умолчанию Crawling API ограничена 20 запросами в секунду (1.728 млн запросов в день) для сканирования JavaScript. Если вам требуется более высокий предел скорости, пожалуйста обратитесь в службу поддержки, (открывается новое окно) (opens new window) с вашим вариантом использования.

# Пример запроса JavaScript

curl "https://api.crawlbase.com/?token=_JS_TOKEN_&url=https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499"

require 'net/http'

uri = URI('https://api.crawlbase.com')
uri.query = URI.encode_www_form({
  token: '_JS_TOKEN_',
  url: 'https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499'})

res = Net::HTTP.get_response(uri)
puts "Response HTTP Status Code: \#{res.code}"
puts "Response HTTP Header Original Status: \#{res['original_status']}"
puts "Response HTTP Response Body: \#{res.body}"

const https = require('https');

const url = encodeURIComponent('https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499');
const options = {
  hostname: 'api.crawlbase.com',
  path: '/?token=_JS_TOKEN_&url=' + url
};

https.request(options, (response) => {
  let body = '';
  response.on('data', chunk => body += chunk).on('end', () => console.log(body));
}).end();

$url = urlencode('https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499');

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=' . $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

$response = curl_exec($ch);
curl_close($ch);

var_dump($response);

from urllib2 import urlopen
from urllib import quote_plus

url = quote_plus('https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499')

handler = urlopen('https://api.crawlbase.com/?token=_JS_TOKEN_&url=' + url)

print handler.read()

package main

import (
  "net/http"
  "fmt"
  "io/ioutil"
  "net/url"
)

func main() {
  url := url.QueryEscape("https://www.missguidedau.com/petite-black-msgd-insert-mesh-cut-out-gym-leggings-10202499")
  resp, _ := http.Get("https://api.crawlbase.com/?token=_JS_TOKEN_&url=" + url)

  defer resp.Body.Close()
  body, _ := ioutil.ReadAll(resp.Body)

  fmt.Println("response Body: ", string(body))

# Выполнение JavaScript

Если вы хотите выполнить пользовательский код JavaScript на страницах, которые вы хотите скопировать, прежде чем мы вернем вам HTML, пожалуйста, обратитесь в службу поддержки, (открывается новое окно) (opens new window) с вашим вариантом использования.