Término de backtesting
Walk-forward / fuera de muestra
Las pruebas walk-forward ajustan una estrategia en un segmento del historial y luego la obligan a probarse a ciegas en el siguiente segmento que nunca vio. Una ventaja que solo funciona en los años a los que se ajustó memorizó ruido, no el mercado.
Las pruebas walk-forward ajustan una estrategia en un segmento del historial, luego la prueban en el siguiente segmento que nunca ha visto, y desplazan esa ventana hacia adelante en el tiempo. Ajustar en un tramo de datos. Probar a ciegas en el tramo inmediatamente posterior. Incorporar ese tramo al conjunto de entrenamiento, luego probar a ciegas en el siguiente. Repetir hasta que la ventana llegue a hoy.
Fuera de muestra es el objetivo principal. Si una ventaja es real, funciona con datos que el optimizador no pudo ver mientras elegía los parámetros. Si solo brilla en los años a los que se ajustó, memorizó ruido y lo llamó una regla. Esta es la verificación que separa una regla genuina de una coincidencia bien adornada, y es la que la mayoría de los backtests publicados omiten porque hace que los resultados parezcan peores.
Sin walk-forward, una estrategia solo tiene que satisfacer a un maestro: la curva histórica contra la que se ajustó. Añada suficientes parámetros, un stop aquí, un filtro allá, una longitud de búsqueda mágica, y casi cualquier curva de capital puede hacerse subir. Ninguno de esos ajustes tiene que sobrevivir un año que el optimizador nunca tocó. Walk-forward lo fuerza a hacerlo.
Probamos en años e instrumentos excluidos de cualquier ajuste, ejecutando esa ventana de exclusión contra 13 años de futuros CME y datos FX a nivel de tick con bid/ask real, no el tramo en el que se calibró la estrategia. Una estrategia que necesita ver la respuesta antes de la prueba no está pronosticando. Está recitando.
Un sistema que supera el ajuste en muestra pero colapsa en walk-forward suele ser simplemente sobreajuste disfrazado, un ajuste encontrado al probar suficientes variaciones para que una coincidiera con el ruido. Ese riesgo se agrava con cada configuración extra probada, que es exactamente el problema que las pruebas múltiples corrigen. Una prueba de placebo aborda una pregunta relacionada desde otro ángulo, si la ventaja sobreviviría si las entradas se barajaran al azar. Walk-forward pregunta si sobrevive al tiempo en su lugar.
Las ventajas reales son aburridas de esa manera. Siguen funcionando con datos a los que nadie las ajustó, sin una nueva ronda de ajuste para mantenerse vivas. Una regla que necesita un reajuste constante para seguir funcionando nunca fue una regla. Era una curva que se perseguía.
La investigación detrás de esto
- López de Prado (2018). “Advances in Financial Machine Learning.” Wiley. — La referencia estándar de López de Prado sobre el sobreajuste de backtests, la validación cruzada y cómo evitar la fuga de datos en este tipo exacto de pruebas con datos retenidos.
- Bailey, Borwein, López de Prado & Zhu (2014). “Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance.” Notices of the AMS 61(5). — Muestra cómo probar suficientes configuraciones de parámetros produce un backtest de gran apariencia incluso con cero ventaja real, la trampa exacta contra la que las pruebas walk-forward protegen.
- Harvey, Liu & Zhu (2016). “…and the Cross-Section of Expected Returns.” Review of Financial Studies 29(1). — Muestra que después de extraer suficientes factores, el umbral para considerar uno real debe aumentar drásticamente, la lógica de pruebas múltiples que motiva las pruebas fuera de muestra.
Investigación externa, enlazada para contexto y lectura adicional. FoxAlgo es independiente y no está afiliado a estos autores o editores.
Estos son los términos detrás de The No List — la auditoría completa, cada estrategia e indicador nombrado, con su veredicto y la razón exacta por la que vivió o murió.
Obtener The No List →