Система множественного сравнения NIST объясняет, почему выбор лучшего результата после многих тестов может сделать случайность похожей на открытие.

01 · ОБЯЗАТЕЛЬНАЯ РЕКОРАДКА

Что источник устанавливает

NIST описывает метод Бонферрони для управления семейством сравнений путем распределения вероятности ошибок по заданному набору.Ключевой момент заключается в том, что сбор тестов имеет значение, а не только один результат, в конечном итоге выделенный. NIST/SEMATECH — метод множественного сравнения Бонферрони

Для явно иллюстративного набора из двадцати независимых нулевых тестов, каждый с 5% ложноположительной вероятностью, шанс хотя бы одного ложнополосного составляет 1 минус 0.95 к двадцатой мощности, примерно 64.2%.Независимость является частью этого примера; коррелированные тесты требуют собственного анализа.

02 · ЭДИТОРИАЛЬНЫЙ АНАЛИЗ ВФН

Что изменяет различие

Рекламодатель может сделать бэктест впечатляющим, показав только лучшее сочетание индикатора, срока годности и диапазона дат. Опущенные испытания являются частью исследовательского процесса. Без них читатель не может сказать, был ли результат указан заранее или выбран, потому что он выглядел сильнее.

Корректировка многократного тестирования также не может устранить все недостатки. Тест с утечкой будущей информации остается дефектным даже после коррекции частоты ошибок. Процесс отбора и информационная временная шкала требуют отдельных проверок.

03 Что делать дальше

Вопросы для следующего обзора

Запишите все правила кандидата и критерии отбора перед оценкой окончательного отказа. Сохраните неудачные тесты в журнале исследований. Опишите выбранный исторический результат как таковой и избегайте рассмотрения номинального уровня значимости как вероятности того, что торговая стратегия заработает деньги.