Prueba de placebo / permutación

Baraja los datos. Aleatoriza el orden de las operaciones, mezcla la señal de entrada y luego vuelve a ejecutar la misma estrategia en la versión mezclada. Si genera la misma cantidad de dinero con el ruido que con la serie real, el resultado original no era una estrategia. Fue una coincidencia disfrazada de estrategia. Eso es una prueba de permutación, y es el control de placebo que la mayoría de los backtests publicados omiten por completo.

La lógica se toma directamente de los ensayos clínicos. Un medicamento tiene que vencer a una píldora de azúcar, no solo a la nada. Una regla de trading tiene que vencer a una versión aleatorizada de sí misma, no solo a una línea de comprar y mantener en un gráfico. Aleatorizar el orden de las operaciones o la secuencia de barras destruye cualquier relación de tiempo real entre la regla y el mercado, dejando intacta la distribución de retornos subyacente. Si el rendimiento apenas se mueve, la regla nunca estuvo leyendo el mercado. Estaba leyendo el ajuste.

Aplicamos esto a todo lo que sobrevive a los filtros anteriores, como una puerta permanente en el proceso. Una parte significativa de las estrategias que parecían genuinamente rentables colapsan en el momento en que su sincronización se mezcla, porque el patrón que un desarrollador creyó haber encontrado residía dentro de los parámetros, no dentro de la acción del precio. Eso es un pariente cercano del sobreajuste, donde la curva se ajustó a la historia en lugar de descubrir algo que se generaliza. También detecta casos que las comprobaciones de ventaja simples pasan por alto: una estrategia puede superar el umbral de sin ventaja real en las entradas brutas y aun así fallar una vez que su secuencia exacta se mezcla.

La prueba no es glamurosa. No recompensa a una estrategia por ser inteligente, solo por sobrevivir a un ataque a su propia premisa, y hace desaparecer muchas curvas de capital bonitas. Por eso mismo pertenece al proceso. Cuantos más parámetros tenga un sistema, y cuantas más variaciones haya probado un desarrollador antes de decidirse por "la única", más probable es que una prueba de permutación sea lo único que se interpondrá entre una ventaja real y el ruido disfrazado de disciplina. Ese riesgo se agrava con las pruebas múltiples: cuantas más configuraciones mezcladas o ajustadas estés dispuesto a probar, más probable es que una de ellas parezca excelente por pura casualidad, y solo un control de placebo lo detecta después del hecho.

Barato de ejecutar, brutal de fallar. Si una estrategia no puede vencer a una versión aleatorizada de sí misma, no es un sistema. Es una historia que alguien contó sobre un gráfico, después de que el gráfico ya había ocurrido.