Pruebas múltiples / data-snooping

Prueba una estrategia y una tasa de ganancias ligeramente superior a un lanzamiento de moneda parece una ventaja. Prueba mil estrategias y, solo por casualidad, varias superarán ese mismo listón con creces. Ninguna de ellas encontró nada real. Alguien simplemente tenía que ganar la lotería. Las pruebas múltiples (también llamadas data-snooping) es lo que sucede cuando ese número de intentos se omite en el cálculo de la significancia. La línea de aprobación/fallo habitual para un backtest, un estadístico t cercano a 2, fue construida para probar una idea a la vez. Ejecuta mil ideas a través de esa misma línea y los falsos positivos superarán en número a las señales reales antes de que alguien haya empezado a buscar.

La solución no es una prueba diferente. Es un listón más alto. Cuantas más estrategias compiten por el título de la que funciona, más lejos en la cola tiene que situarse un resultado antes de que signifique algo más allá de la suerte de encontrar una aguja en un pajar de su propia creación. Un backtest que habría impresionado a un investigador solitario hace décadas es ruido intrascendente una vez que es el mejor de mil intentos ejecutados consecutivamente.

Esta es la razón por la que nuestros números de rechazo son tan altos. Probamos más de 1,000 estrategias y más de 1,700 indicadores, más de 2,700 scripts en total, y una curva de capital atractiva es exactamente lo que predice esa escala, incluso si cada uno de ellos fuera inútil. Un solo backtest halagador no prueba nada por sí mismo; consulta sin ventaja real para ver con qué frecuencia la señal subyacente resulta ser ruido disfrazado de estrategia. El sobreajuste es una estrategia que se ajusta a su propio ruido; las pruebas múltiples somos nosotros ajustándonos al ruido de mil estrategias a la vez. Misma trampa, diferente escala.

Tratamos a cada superviviente como culpable hasta que supera un listón dimensionado para toda la búsqueda, no para un solo backtest. Parte de eso es ejecutar una prueba de placebo contra versiones revueltas de los mismos datos: si una estrategia sigue pareciendo buena con ruido, el resultado original nunca fue sobre el mercado. Parte de ello es negarse a detenerse en la primera ejecución prometedora y darla por terminada.

El número honesto al final de ese filtro es pequeño. El 78.4% de las estrategias que probamos fueron rechazadas directamente, el 14.8% mostró una ventaja condicional bajo condiciones específicas, y el 0.7% (siete estrategias) superaron todos los obstáculos y obtuvieron un veredicto de desplegable. Esa proporción no es pesimismo. Es lo que sucede cuando corriges por cuántas oportunidades tuvo el ruido para engañarte.