Как работает переход между страницами

Kalshi использует курсорную пагинацию для списковых запросов. Ответ содержит массив данных и cursor для продолжения. Следующий запрос передаёт полученный токен с теми же фильтрами, а завершение обхода обозначается пустым курсором.

Размер страницы зависит от эндпоинта. В документации также описано различие обработки некорректных курсоров. Некоторые списки могут вернуть первую страницу, тогда как список событий отклоняет неверный токен с ошибкой 400. Поэтому контроль повторов полезен независимо от HTTP статуса. Kalshi · Understanding Pagination ↗

Что происходит при обрезанном токене

Представим, что импортёр получил 100 рынков и сохранил курсор в слишком коротком поле базы. Следующий запрос отправляет повреждённое значение, снова получает первую сотню и продолжает цикл. В журнале видны успешные ответы, а фактическое покрытие остаётся прежним.

Для обнаружения такой ситуации можно хранить переданные курсоры и идентификаторы полученных объектов. Если очередной шаг воспроизводит уже пройденное состояние, задача останавливается с объяснением. Количество HTTP ответов в этом случае перестаёт выглядеть как количество разных страниц.

Как описать завершённую выгрузку

Карточка импорта может включать время начала и окончания, фильтры, число уникальных рынков и признак завершения цепочки. При прерывании полезно сохранять точное место остановки. Это помогает отличить частичный набор от законченной задачи.

Данные способны изменяться в процессе обхода, поэтому проверка полноты должна учитывать длительность импорта. Для критичных расчётов удобно дополнительно обновлять изменившиеся записи и сохранять время снимка. Полный проход страниц даёт понятную границу полученного набора, а журнал обновлений объясняет, насколько свежи отдельные объекты внутри него.