Как работает переход между страницами
Kalshi использует курсорную пагинацию для списковых запросов. Ответ содержит массив данных и cursor для продолжения. Следующий запрос передаёт полученный токен с теми же фильтрами, а завершение обхода обозначается пустым курсором.
Размер страницы зависит от эндпоинта. В документации также описано различие обработки некорректных курсоров. Некоторые списки могут вернуть первую страницу, тогда как список событий отклоняет неверный токен с ошибкой 400. Поэтому контроль повторов полезен независимо от HTTP статуса. Kalshi · Understanding Pagination ↗
Что происходит при обрезанном токене
Представим, что импортёр получил 100 рынков и сохранил курсор в слишком коротком поле базы. Следующий запрос отправляет повреждённое значение, снова получает первую сотню и продолжает цикл. В журнале видны успешные ответы, а фактическое покрытие остаётся прежним.
Для обнаружения такой ситуации можно хранить переданные курсоры и идентификаторы полученных объектов. Если очередной шаг воспроизводит уже пройденное состояние, задача останавливается с объяснением. Количество HTTP ответов в этом случае перестаёт выглядеть как количество разных страниц.
Как описать завершённую выгрузку
Карточка импорта может включать время начала и окончания, фильтры, число уникальных рынков и признак завершения цепочки. При прерывании полезно сохранять точное место остановки. Это помогает отличить частичный набор от законченной задачи.
Данные способны изменяться в процессе обхода, поэтому проверка полноты должна учитывать длительность импорта. Для критичных расчётов удобно дополнительно обновлять изменившиеся записи и сохранять время снимка. Полный проход страниц даёт понятную границу полученного набора, а журнал обновлений объясняет, насколько свежи отдельные объекты внутри него.
