# насыпной

Команда /bulk Конечная точка позволяет клиентам извлекать данные оптом, используя список идентификаторов запросов (RID). Эта операция поддерживает эффективное извлечение данных для больших наборов данных и предоставляет возможность автоматически удалять извлеченные элементы из хранилища после извлечения.

# параметры

Отправьте объект JSON со следующими свойствами:

rids (обязательно): Массив RID для данных, которые вы хотите получить.
auto_delete (необязательно): Логический параметр, который, если установлен, true, автоматически удалит извлеченные элементы из хранилища после их извлечения. Значение по умолчанию: false, то есть элементы не будут удалены, если на то не было прямого запроса.

# Запрос

Чтобы извлечь и автоматически удалить данные для трех RID:

curl -X POST 'https://api.crawlbase.com/storage/bulk?token=_USER_TOKEN_' \
-H 'Content-Type: application/json' \
-d '{ "rids": ["RID1","RID2","RID3"], "auto_delete": true }'

# Режимы секции мощности

Ответ представляет собой массив объектов JSON, каждый из которых представляет данные для одного RID. Обратите внимание, что body Поле закодировано в base64 и сжато gzip. Вам нужно будет раскодировать base64, а затем распаковать gzip, чтобы получить исходное содержимое.

[
  {
    "stored_at": "2021-03-01T14:22:58+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID1",
    "url": "URL1",
    "body": "BODY1"
  },
  {
    "stored_at": "2021-03-01T14:30:51+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID2",
    "url": "URL2",
    "body": "BODY2"
  }
]

# Заметки

Для эффективного использования /bulk API, обратите внимание на следующее:

Максимальное количество RID, которые могут быть обработаны за один запрос, составляет 100. Если отправлено более 100 RID, будут обработаны только первые 100.
Команда auto_delete Эта функция особенно полезна для поддержания эффективности хранения и управления жизненным циклом данных без необходимости отдельных запросов на удаление. Используйте эту функцию разумно, чтобы избежать непреднамеренной потери данных.

← Удалить РИД →