Un pronóstico de probabilidad contiene más información que una predicción de que un evento sucederá. Diciendo 20% y diciendo 80% no debe ser tratado como declaraciones de confianza equivalentes. La literatura técnica de NOAA describe la puntuación de Brier como una medida de error de probabilidad cuadrada para un evento binario, dando una manera reproducible para evaluar la probabilidad declarada después de que se conozca su resultado. Nota técnica NOAA/NCEP: Verificación probabilística de pronóstico y puntuación de Brier
Seguir las pruebas
Trace cómo el evento podría llegar a los mercados, y luego inspeccionar una explicación competitiva.
Compare las explicaciones
Intercambiar lentes para ver lo que explica cada cuenta, y lo que sigue siendo incierto.
WFN funcionó ejemplo: supone diez pronósticos hipotéticos todas asignan probabilidad 0.20 al mismo tipo claramente definido de evento. Dos eventos ocurren y ocho no. La puntuación media es [2 × (0.20 −1)2 + 8 × (0,20 − 0)2] ÷ 10 = 0,16. Cada entrada se inventa para este ejemplo aritmético. La frecuencia de evento observada en ese pequeño ejemplo es 20%, coincidente
WFN funcionó ejemplo: supone diez pronósticos hipotéticos todas asignan probabilidad 0.20 al mismo tipo claramente definido de evento. Dos eventos ocurren y ocho no. La puntuación media es [2 × (0.20 −1)2 + 8 × (0,20 − 0)2] ÷ 10 = 0,16. Cada entrada se inventa para este ejemplo aritmético. La frecuencia de evento observada en ese pequeño ejemplo es 20%, coincidente
Un pronóstico bien definido todavía necesita comparación con el precio del contrato real, pago y costos antes de cualquier cálculo de rentabilidad. Como ejemplo inventado separado, una probabilidad del 60% de evento y una rentabilidad de 100 unidades implican una liquidación esperada de 60 unidades. Pagar 70 unidades dejaría un déficit esperado de 10 unidades antes de costos adicionales, incluso bajo la probabilidad presupuestada. Mantener el plazo de liquidación de probabilidad, definición de evento, fuente de resultados y ejecución de resultados.
La probabilidad y el resultado deben definirse primero
Para el formulario binario utilizado aquí, el promedio de puntuación (p − y) se ha montado en las observaciones, con p la probabilidad de pronóstico y igual a uno cuando el evento definido ocurre y cero de otra manera. Una puntuación más baja indica un error de probabilidad media cuadrada menor bajo esa convención. La metodología publicada de NOAA proporciona la referencia estadística, no una estimación de rendimiento del mercado financiero. Nota técnica NOAA/NCEP: Verificación probabilística de pronóstico y puntuación de Brier
La calibración pregunta si los eventos asignados probabilidades de pronóstico comparables ocurren con frecuencias correspondientes en una muestra adecuada. Es diferente de comprobar si una sola predicción resultó correctamente. Una muestra, definición de evento y método de evaluación son necesarios antes de reclamar la calidad de previsión persistente; un contrato ganador no puede establecer esa reclamación.
Trabajar a través de la puntuación sin inventar las probabilidades del mercado
WFN funcionó ejemplo: suponer diez pronósticos hipotéticos todos asignan probabilidad 0.20 al mismo tipo claramente definido de evento. Dos eventos ocurren y ocho no. La puntuación media es [2 × (0.20 −1)2 + 8 × (0,20 − 0)2] ÷ 10 = 0,16. Cada entrada se inventa para este ejemplo aritmético.
La frecuencia de eventos observada en ese pequeño ejemplo es del 20%, que coincide con la probabilidad declarada. Esa coincidencia no es prueba estadística de que un sistema de pronóstico permanecerá calibrado. Una evaluación más grande debe examinar la incertidumbre, las observaciones elegidas y el rendimiento en datos que no fueron seleccionados para hacer que el método parezca exitoso.
La confianza afecta el error incluso cuando ocurre el evento. Con el resultado uno, una probabilidad hipotética de 0.80 produce error cuadrado 0.04, mientras que la probabilidad 0.51 produce 0.2401. Ambas previsiones están por encima de la mitad, sin embargo sus errores difieren. Reducir el registro a un recuento de victoria o pérdida desecha la información de probabilidad que la puntuación evalúa.
La evaluación de los pronósticos es independiente de la economía de los contratos
Un pronóstico bien definido todavía necesita comparación con el precio real del contrato, la liquidación y los costos antes de cualquier cálculo de rentabilidad. Como ejemplo inventado aparte, una probabilidad del 60% de evento y una rentabilidad de 100 unidades implican una liquidación esperada de 60 unidades. Pagar 70 unidades dejaría un déficit esperado de 10 unidades antes de costos adicionales, incluso bajo la probabilidad asumida.
Mantenga el cronograma de probabilidad, definición de evento, fuente de resultados y convención de puntuación juntos. Si evalúa un contrato tradable, agregue sus términos de ejecución y liquidación por separado. Este marco ayuda a evaluar las predicciones sin presentar precios como probabilidades puras o precisión de pronóstico como garantía de ganancia. El artículo no reporta probabilidades de vida, sistema de comercio probado o rendimiento factible.