Документация Crawlbase

# РИД

Команда /rids Конечная точка разработана для предоставления клиентам массового списка RID (идентификаторов запросов) из области хранения. Этот API поддерживает разбиение на страницы с помощью механизма прокрутки, что обеспечивает эффективное извлечение данных для больших наборов данных.

# параметры

Единственный обязательный параметр — это token. Ниже приведены дополнительные параметры, которые следует использовать для эффективного извлечения RID:

  • limit (необязательно): Указывает максимальное количество возвращаемых RID. По умолчанию 10 тыс., максимально допустимое значение 1 тыс. Используйте этот параметр для управления размером возвращаемых данных.

  • scroll (необязательно): Если установлено значение true, этот параметр включает прокручиваемую пагинацию для запроса. Он инициирует сеанс прокрутки, который обеспечивает scroll_id используется для последующих запросов.

  • scroll_id (необязательно): Идентификатор из ответа на предыдущий запрос для извлечения следующего набора RID. Этот параметр используется для разбиения на страницы.

  • scroll_order (необязательно): Определяет порядок возвращаемых RID. Допустимые значения: asc (по возрастанию) или desc (по убыванию). Порядок по умолчанию: desc.

# Запрос

Чтобы получить последние 100 RID:

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&limit=100'

# Режимы секции мощности

Успешный ответ вернет массив RID и, если применимо, scroll_id для дальнейшей пагинации:

{
  "rids": ["RID1", "RID2", ...],
  "scroll_id": "dXVlcnlUaGVuRmV0Y2g7NTs1NDpDV..."
}
  • rids: Массив, содержащий запрошенные RID.
  • scroll_id: Токен для получения следующего набора результатов. Это значение имеет решающее значение для разбиения на страницы и предоставляется, когда доступно больше данных, чем лимит текущего запроса.

# Прокрутка

Для эффективной навигации по большим наборам данных клиенты могут выбрать прокрутку страниц, установив scroll параметр true. Этот метод идеально подходит для последовательного извлечения данных, когда общий размер набора данных превышает limit максимальное значение параметра.

# Первоначальный запрос с прокруткой

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&limit=100&scroll=true'

Этот запрос запускает сеанс прокрутки и возвращает первую партию RID вместе с scroll_id, что необходимо для получения следующей партии.

# Извлечение последующих партий

Чтобы получить дополнительные RID, используйте предоставленный scroll_id без указания scroll параметр снова. scroll_id сохраняет состояние пагинации.

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&scroll_id=dXVlcnlUaGVuRmV0Y2g7NTs1NDpDV...'

# Заметки

Для эффективного использования /rids API, обратите внимание на следующее:

  • Команда limit Ограничение параметра в 10 тыс. обеспечивает оптимальную производительность сервера и управление ресурсами. Пагинация через scroll_id для доступа к большим наборам данных.

  • Первоначальный запрос с scroll=true инициирует сеанс прокрутки. Ответ включает в себя scroll_id для последующего извлечения данных.

  • Команда scroll_id имеет решающее значение для непрерывной пагинации. Обязательно включите его в последующие запросы, пока все требуемые данные не будут получены.

  • Сеансы прокрутки истекают через 15 секунд бездействия, после чего scroll_id становится недействительным. Чтобы получить доступ к большему количеству данных за пределами этого периода, инициируйте новый запрос с scroll=true.

  • Если вы получили сообщение об ошибке, Scroll session has expired or is invalid, это означает, что контекст прокрутки, который вы пытаетесь использовать, больше не доступен. Обычно это происходит, если истекло время ожидания прокрутки. В этом случае инициируйте новый запрос прокрутки.

Придерживаясь этих рекомендаций и эффективно используя предоставленные параметры, вы можете максимально увеличить полезность и производительность /rids конечная точка для удовлетворения потребностей в извлечении данных.

← Bulk Удалить →

©2025 Crawlbase