Una señal puede parecer exacta en una prueba histórica porque la prueba incluye sin reservas información no disponible cuando se hubiera tomado la decisión. Reconstruir la línea temporal de información es un cheque más fuerte que contar solo con ganadores.
La documentación identifica dos riesgos de evaluación
scikit-learn describe la fuga de datos como el uso de información no disponible en el momento de la predicción cuando se construye un modelo, produciendo una evaluación excesivamente optimista. Su documentación de validación cruzada advierte por separado que las observaciones dependientes del tiempo requieren atención y describe la evaluación sobre observaciones posteriores mediante divisiones de series temporales. Estos son principios metodológicos, no evidencia que cualquier señal comercial funcione. documentación de scikit-learn — Pátinas comunes: fuga de datos documentación de la hoja de cálculo — validación cruzada: series temporales
Una vela puede contener el resultado que se supone que predice
Imagine una señal generada a las 10:00:00 para un contrato que expira a las 10:01:00. Un conjunto de datos histórico proporciona el alto y bajo de toda la vela de 10:00-10:01 como entradas. Esos valores no son completamente conocidos a las 10:00; incluyen los precios observados durante el intervalo de predicción.
Por lo tanto, la prueba puede dejar que la parte de la señal de inspección del futuro que pretende predecir. El cambio de una columna de etiqueta no es suficiente para solucionar ese problema si las características de entrada todavía llevan información posterior. Cada campo necesita un timetamp de disponibilidad, así como un timetmp que describa su período de referencia.
Los datos económicos pueden crear el mismo problema. Un número revisado disponible hoy puede diferir de la liberación que los comerciantes vieron realmente. Una prueba de respaldo que utiliza la serie revisada no debe describirse como una reconstrucción de la información histórica de decisión a menos que se aborde esa diferencia.
La selección de modelos puede contaminar la evaluación incluso sin un error de codificación. Suponga que se prueban muchos ajustes de indicador y se selecciona el más alto nivel usando el período de prueba final. Ese período ha influido en la elección; ya no sirve como una evaluación sin tocar de la especificación elegida.
Una división cronológica es útil pero puede que todavía necesite separación alrededor de ventanas de resultados superpuestas. Si las observaciones vecinas comparten gran parte del mismo camino de precios futuro, tratarlas como evidencia independiente puede exagerar el tamaño de muestra eficaz. El diseño de división debe reflejar el horizonte de predicción.
Disponibilidad de auditoría antes de examinar la exactitud
Listar la disponibilidad más temprana de cada entrada, preservar versiones de lanzamiento cuando sea relevante y separar las opciones de desarrollo de la evaluación final. Compruebe el preprocesamiento y la selección de características, así como la regla de trading en sí.
Por último, evaluar las decisiones resultantes contra los precios de contrato, costos y definiciones de liquidación. Un cálculo de precisión más limpio todavía no es una garantía de rentabilidad. El primer requisito es más simple: el examen no debe utilizar la información de mañana para describir la decisión de ayer.