Las palabras que utilizan los vendedores de estrategias, definidas de forma clara, y lo que realmente descubrimos al analizarlas una por una en más de 1.000 estrategias y más de 1.700 indicadores. Sin jerga por el simple hecho de usarla. Cada término enlaza con el resultado que hay detrás, siempre que lo haya.
Cómo una estrategia no supera nuestra auditoría
Sin ventaja real (sin ventaja bruta)
Una estrategia tiene ventaja cuando sus reglas superan a una entrada aleatoria al lanzar una moneda al aire en las mismas barras, antes de que se deduzca ni un céntimo de coste. La ausencia de ventaja bruta significa que la señal nunca predijo nada. Las entradas eran ruido disfrazado de lógica. Esta es la razón más común por la que rechazamos una estrategia, y es el hallazgo que menos espera la gente. Casi la mitad de todo lo que descartamos fallaba precisamente aquí, antes de que el deslizamiento, el spread o las comisiones entraran en los cálculos. Se suele decir que los costes acaban con las estrategias. En la mayoría de los casos, ni siquiera llegan a tener esa oportunidad. La mayoría de los sistemas rechazados nunca llegaron a funcionar. Cuando se analiza la curva de capital para determinar si la regla realmente predijo el siguiente movimiento, la respuesta suele ser no.
La estrategia generó beneficios porque el mercado subió mientras mantenía una posición larga. Eso es beta, exposición al mercado, disfrazada de habilidad. Una estrategia de «comprar y mantener» habría obtenido los mismos o mejores resultados, con menos reglas que incumplir. Esto se observa constantemente en los sistemas exclusivamente largos sometidos a backtesting durante una década alcista. En nuestra auditoría, el beta de tendencia es la segunda razón más común por la que rechazamos una estrategia, solo por detrás de la ausencia total de ventaja competitiva. La prueba es contundente: comparar el sistema con la simple tenencia del instrumento durante el mismo periodo. Si una posición pasiva coincide con la curva, las reglas no han aportado nada. Un mercado al alza favorece a casi cualquier estrategia de posición larga. Nuestra labor consiste en eliminar esa deriva y ver qué queda, si es que queda algo.
Casi todos los beneficios procedían de un número minúsculo de días atípicos. Si se eliminan los mejores días, la curva se aplana o se vuelve negativa. La estrategia no tenía ventaja a lo largo del tiempo; simplemente acertó unos cuantos «premios mayores» y se dejó llevar. Comprobamos esto eliminando la parte superior de los días ganadores y volviendo a ejecutar el análisis. Una ventaja real sobrevive al perder su mejor 10 por ciento. Un billete de lotería no. Las ganancias concentradas en la cola son nuestro tercer motivo de rechazo más común, y es el más seductor, porque la rentabilidad aparente parece espectacular. El problema es que no se pueden programar esos días y, en la práctica, normalmente te perderás los más importantes por un hueco en el mercado, una interrupción o una ejecución deficiente. Una curva que se sustenta en cinco velas verdes no es un sistema.
La estrategia tenía una ventaja genuina sobre el papel, pero luego el spread real, la comisión y el deslizamiento se la comieron por completo. Positiva en bruto, negativa en neto. Este es el fracaso que todo el mundo espera que sea el más grave. No lo es. «Cost-fatal» es solo nuestra cuarta razón más común para rechazar una estrategia. La idea más repetida, de que los costes de negociación acaban silenciosamente con los buenos sistemas, es cierta pero se exagera. Muchas más estrategias carecían de ventaja desde el principio. Cuando los costes son el factor decisivo, el motivo suele ser el horizonte temporal: cuanto más corto es el intervalo, más importa el spread. El mercado de divisas con intervalos inferiores a 15 minutos fracasa aquí de forma tan sistemática que ya no probamos estrategias de divisas ni de CFD en gráficos con intervalos inferiores a 30 minutos. Un sistema puede acertar en la dirección y, aun así, perder cada mes debido a sus propios costes de transacción.
Si se ajustan los parámetros lo suficiente, cualquier estrategia se adaptará perfectamente al historial, incluido el ruido aleatorio que no se repetirá. Eso es el ajuste a la curva: un sistema optimizado para un pasado que ya no existe. Parece impecable dentro de la muestra y se desmorona con datos que nunca ha visto. La señal de alerta es la fragilidad. Basta con modificar un ajuste para que la hermosa curva se derrumbe. Ha memorizado el historial; no ha aprendido ninguna regla. Nos protegemos contra ello realizando pruebas fuera de la muestra, en años e instrumentos que el optimizador nunca ha tenido en cuenta. El sobreajuste puro es un motivo de rechazo menos frecuente de lo que cabría suponer, porque la mayoría de los sistemas sobreajustados fallan primero en nuestras comprobaciones iniciales, al no tener ninguna ventaja real desde el principio, sino solo un espejismo bien ajustado. Una estrategia con catorce parámetros ajustados no ha encontrado ninguna ventaja. Simplemente está recordando.
El backtest utiliza información que aún no habría existido en el momento de la operación. Una señal calculada al cierre de la jornada, pero sobre la que se actúa al inicio de la misma. Un indicador que se repinta y revisa silenciosamente las barras pasadas. El resultado es una curva con la que nunca se habría podido operar. El sesgo de anticipación es el error más peligroso en las pruebas retrospectivas porque genera la falsedad más convincente. En nuestro proceso, cada estrategia que supera los análisis numéricos pasa por una segunda ronda en la que nuestro modelo más potente busca de forma adversaria precisamente esto: una ejecución que se adelantó, un valor que se filtró del futuro. Es una parte más pequeña de nuestros descartes que la de «sin ventaja», pero más costosa, porque se trata de los sistemas que parecen los mejores hasta el momento de operarlos, momento en el que se desmoronan.
Baraja los datos, aleatoriza el orden de las operaciones o codifica la señal, y luego comprueba si la ventaja se mantiene. Si una estrategia funciona igual de bien con ruido que con la serie real, sus resultados se debieron a la suerte. Este es el control placebo que la mayoría de las pruebas retrospectivas publicadas omiten por completo. Nosotros lo aplicamos a todo. Una parte significativa de los sistemas que parecían rentables se derrumba en el momento en que se aleatoriza su sincronización, porque el patrón residía en el ajuste, no en el mercado. La prueba de permutación no es nada glamurosa y hace desaparecer muchas curvas bonitas, que es precisamente por lo que debe formar parte del proceso. Si tu estrategia no puede superar a una versión aleatoria de sí misma, has encontrado una coincidencia y le has llamado «sistema». Barato de ejecutar, brutal al fallar.
Supuesto de ejecución intrabarrera / barra por barra
Cuando una barra abarca un rango de precios, el backtester tiene que decidir el orden en el que se produjeron el máximo, el mínimo, la apertura y el cierre dentro de ella. Si se equivoca en ese orden, un trailing stop o una salida intrabárica se ejecuta a un precio que nunca se habría activado en esa secuencia. Aquí es donde muchos sistemas de trailing stop hacen trampa discretamente. La suposición ingenua «barra por barra» les proporciona salidas que no habrían podido detectar en tiempo real. Hemos medido la diferencia: las ejecuciones «barra por barra» sobrevaloran las estrategias de stop dinámico entre un 42 % y un 84 % en comparación con un modelo intrabárico realista. No se trata de un error de redondeo. Para toda una clase de sistemas, esa sobreestimación es el producto en sí mismo que se vende. La ventaja reside en una suposición sobre el interior de una vela, y no resiste el contacto con los ticks reales.
Duplica tu posición tras cada pérdida para que la siguiente ganancia lo recupere todo, y luego vuelve a empezar. Sobre el papel, la cuenta no hace más que subir poco a poco, porque te niegas a contabilizar una pérdida. En realidad, cada racha perdedora hace crecer la posición geométricamente hasta que una sola racha vacía la cuenta. La Martingala es el motor que subyace a la mayoría de los bots de rejilla y DCA, utilicen o no ese término. Es por eso por lo que muestran tasas de acierto casi perfectas y luego fracasan ante una sola tendencia. Probamos 76 sistemas de grid, DCA y Martingale en futuros, divisas y criptomonedas. Todos fracasaron, con una tasa de rechazo del 100 %, la única categoría de toda la auditoría que obtuvo ese resultado. La cuestión matemática no es un problema de ajuste que se pueda solucionar con una rejilla más amplia. Es el diseño.
Una «grid» coloca una escalera de órdenes de compra y venta a intervalos fijos, con el objetivo de aprovechar las oscilaciones del mercado. En un rango lateral, genera pequeñas ganancias constantes y parece imparable. Luego, el mercado entra en tendencia, el lado perdedor de la escalera se acumula y la caída abierta se traga todas las ganancias que la «grid» haya registrado jamás. Sometimos 76 sistemas de rejilla y DCA a precios reales de compra y venta en tres clases de activos. Todos fracasaron, al 100 por ciento, sin supervivientes, el resultado más contundente de la auditoría. El fracaso no se debe a una mala configuración. Es estructural: una rejilla apuesta por la volatilidad a la baja y por la esperanza al alza, y, al final, la volatilidad pasa factura. La curva de capital, tan ordenada, es real hasta el día en que deja de serlo.
DCA (promedio del coste en dólares, en el sentido de los bots de trading)
En el ámbito de la inversión, el promedio del coste en dólares consiste en comprar una cantidad fija según un calendario, un hábito sensato y aburrido. En el mundo de los bots de trading, el término ha sido secuestrado. Aquí, DCA significa promediar a la baja en una posición que ya está perdiendo, comprando más a medida que cae para rebajar el precio de entrada. Es la estrategia martingala con un nombre respetable. El bot muestra una alta tasa de ganancias porque mantiene la posición y añade más hasta que el precio finalmente repunta, cerrando en verde mientras la pérdida inicial se dispara silenciosamente por debajo. Los hemos probado junto con los sistemas de rejilla: 76 sistemas, todos fallaron tras tener en cuenta los costes reales. El promedio en una operación perdedora funciona mientras la operación siga bajando, y el mercado no te debe ningún repunte en tu precio medio. La estrategia que siempre gana suele ser aquella que oculta sus pérdidas en operaciones que no va a cerrar.
La tasa de acierto es la proporción de operaciones que se cierran en verde. Es la primera estadística que cita todo vendedor de estrategias y la más engañosa que podrían elegir. Un sistema puede ganar el 95 % de las veces y seguir siendo un perdedor seguro, si las escasas pérdidas son lo suficientemente grandes como para absorber todas las pequeñas ganancias. Esa brecha es el truco de la martingala y la estrategia de rejilla: al promediar a la baja y negarse a cerrar en rojo, un bot genera una magnífica tasa de ganancias mientras que una sola tendencia negativa acaba con la cuenta. Una tasa de ganancias elevada es una elección de diseño, no una ventaja. Lo que nos importa es lo que generan las operaciones ganadoras frente a lo que cuestan las perdedoras, a lo largo de toda la caída abierta, no el porcentaje de operaciones con ganancias. Pregunta a cualquier bot que anuncie una tasa de ganancias del 99 % cuál es su peor pérdida individual.
El drawdown es la caída desde un máximo del capital hasta el mínimo siguiente; es decir, cuánto te hundes antes de alcanzar un nuevo máximo, medido en porcentaje o en moneda. Es la cifra que te indica si realmente podrías haber mantenido el sistema sin que se hundiera ni tuvieras que salir del mercado. El drawdown de las operaciones cerradas es honesto. El drawdown de las posiciones abiertas es donde los bots de grid y DCA ocultan la verdad. Como se niegan a cerrar una operación perdedora, su capital contabilizado parece estable, mientras que la pérdida real, no realizada, se dispara en las posiciones que siguen abiertas en el libro de operaciones. La cuenta puede sufrir una caída catastrófica mientras que el historial de operaciones muestra una racha ininterrumpida de ganancias. Medimos el drawdown de las posiciones abiertas, no la halagadora curva de las operaciones cerradas. Una tasa de acierto cercana al 100 % y un drawdown capaz de acabar con la cuenta son la misma estrategia descrita de dos maneras diferentes.
El deslizamiento es la diferencia entre el precio que esperabas y el que realmente obtuviste. Los mercados se mueven entre el momento de tu decisión y el de la ejecución, y la diferencia sale de tu cuenta, operación tras operación. La mayoría de las pruebas retrospectivas asumen que la operación se ejecuta exactamente al precio de la señal, un regalo que ningún bróker real te ofrece. Si lo modelas con honestidad, los sistemas de volumen reducido, rápidos o con marcos temporales cortos pierden una parte importante de la ventaja que nunca tuvieron de sobra. El deslizamiento es uno de los tres costes, junto con el spread y la comisión, que están detrás de nuestros rechazos fatales por costes: los sistemas que eran positivos en términos brutos pero negativos en términos netos. Su impacto es mayor cuando las operaciones son frecuentes y el volumen es elevado en relación con lo que hay en cartera. Una ejecución que has dado por gratuita es una cifra que has tomado prestada de una curva que no te la devolverá en condiciones reales.
El spread es la diferencia entre la mejor oferta de compra y la mejor oferta de venta. Compras al precio más alto y vendes al más bajo, y la diferencia es un coste que pagas en cada operación de ida y vuelta, ganes o pierdas. Parece trivial hasta que lo cruzas miles de veces. Lo modelamos a partir de datos reales de ticks con cotizaciones reales de compra/venta, no a partir de una suposición fija aplicada a los precios de cierre. Cuanto más preciso es el intervalo de tiempo, más se nota. El mercado de divisas con intervalos inferiores a 15 minutos se ve afectado casi en su totalidad por el diferencial; la ventaja es real, pero menor que el coste de aprovecharla, por lo que dejamos de probar estrategias de divisas y CFD en gráficos con intervalos inferiores a 30 minutos. Una prueba retrospectiva realizada con el precio medio elimina discretamente este coste. Las cuentas reales no pueden hacerlo.
Los datos de ticks son cada cotización y operación individuales, con el precio real de compra y venta en cada momento, no un único precio muestreado una vez por barra. Es la materia prima que realmente necesita un modelado honesto de los costes. Si realizas un backtest con cierres de velas «limpios», nunca verás el spread que realmente pagarías ni la ejecución que realmente obtendrías. Para el mercado de divisas utilizamos datos de ticks con precios reales de compra y venta, de modo que el spread y el deslizamiento se miden, no se estiman. Para los futuros, utilizamos 13 años de datos de la CME. La diferencia no es meramente teórica. Un sistema que liquida al precio medio de la vela puede entrar en números rojos en el momento en que se le aplique el coste real de cada entrada y salida. Los datos baratos dan respuestas baratas. Si el modelo de costes es una suposición, también lo es el veredicto sobre la estrategia.
Las pruebas «walk-forward» ajustan una estrategia en un tramo del historial, luego la prueban en el siguiente tramo que nunca ha visto y van avanzando esa ventana a lo largo del tiempo. La prueba «out-of-sample» es la clave: si una ventaja es real, funciona con datos que el optimizador no ha podido ver. Si solo destaca en los años para los que se ajustó, es que ha memorizado ruido. Esta es la comprobación que distingue una regla genuina de una coincidencia bien adornada, y es la que la mayoría de las pruebas retrospectivas publicadas omiten porque hace que los resultados parezcan peores. Realizamos pruebas con años e instrumentos que no se han utilizado en ningún ajuste. Una estrategia que necesita ver la respuesta antes de la prueba no es una previsión. Las ventajas reales son aburridas en ese sentido. Siguen funcionando con datos para los que nadie las ha ajustado.
Contrato de futuros continuo (ajustado retrospectivamente)
Los contratos de futuros vencen, por lo que, para realizar un backtest a lo largo de varios años, se une el contrato que vence con el siguiente para formar una única serie continua. Si se hace sin cuidado, se introducen brechas fantasma o beneficios en cada renovación que ningún operador ha obtenido jamás. El ajuste retrospectivo, que consiste en desplazar los datos antiguos para que la unión sea fluida, corrige el gráfico, pero puede hacer que los precios más antiguos pasen a ser negativos o distorsionar los rendimientos porcentuales si no se aplica el método con cuidado. Es una trampa silenciosa en los datos: la estrategia parece haber generado beneficios que, en realidad, no eran más que un artefacto derivado de cómo se unieron las series. Analizamos 13 años de futuros del CME y gestionamos el rollover de forma deliberada, porque una mala unión puede crear una ventaja de la nada. El contrato con el que realizas el backtest tiene que coincidir con el contrato con el que realmente podrías haber operado.
El ratio de Sharpe es la cifra a la que recurren los operadores para parecer rigurosos: la rentabilidad por unidad de riesgo, expresada en una sola cifra clara. También es una de las cifras más fáciles de maquillar en el mundo del trading. El ratio de Sharpe mide la rentabilidad por unidad de riesgo: se toma la rentabilidad media de una estrategia, se resta el tipo libre de riesgo y se divide por la volatilidad de dicha rentabilidad. Una estrategia que genere un 20 % anual con fuertes oscilaciones puede obtener una puntuación peor que otra que genere un 12 % de forma estable. Esta métrica existe precisamente para valorar esa volatilidad.
Las pruebas múltiples son la razón por la que un buen backtest es el resultado menos sorprendente de la auditoría. Si se prueban suficientes estrategias, algunas parecerán rentables por pura casualidad; la cuestión nunca es si has encontrado una, sino si el listón que has superado era lo suficientemente alto como para que importara. Si se prueba una sola estrategia, una tasa de aciertos ligeramente superior al lanzamiento de una moneda parece una ventaja. Prueba mil estrategias y, solo por casualidad, varias superarán ese mismo umbral con holgura. Ninguna de ellas ha encontrado nada real. Alguien simplemente tenía que ganar la lotería. Las pruebas múltiples (también llamadas «búsqueda de datos») es lo que ocurre cuando ese número de intentos queda fuera del cálculo de la significación estadística. La línea habitual de «aprobado/suspenso» para una prueba retrospectiva —una estadística t cercana a 2— se diseñó para probar una idea cada vez. Si se someten mil ideas a esa misma línea, los falsos positivos superan en número a las señales reales antes incluso de que nadie haya empezado a analizarlas.
Un indicador que se repinta te muestra un historial diferente al que mostraba en tiempo real. La señal con la que operaste suele haber cambiado ya para cuando vuelves a mirarla. Un indicador que se repinta te muestra una cosa en el gráfico hoy y otra diferente en la misma barra mañana, sin que se haya modificado el código entre medias. La flecha que señalaba un mínimo perfecto al cierre del martes puede desplazarse o desaparecer el jueves, porque el cálculo en el que se basaba nunca se completó cuando apareció por primera vez. Lo que viste en tiempo real y lo que muestra ahora el historial son dos registros diferentes de la misma vela.
El factor de beneficio es el beneficio bruto dividido por la pérdida bruta, y es una de las cifras de backtest más fáciles de inflar sin cambiar ni una sola regla de trading. El factor de beneficio es el beneficio bruto dividido por la pérdida bruta. Suma todas las operaciones ganadoras, suma todas las operaciones perdedoras y divide el primer resultado por el segundo. Cross 1.0 y la estrategia ganaron más de lo que perdieron, al menos sobre el papel. Es una cifra, fácil de calcular, fácil de incluir en una página de ventas.
Estas son las razones por las que las estrategias acaban en «The No List»: la auditoría completa, con el nombre de cada estrategia, su veredicto y la razón exacta por la que se ha aprobado o rechazado.
Antes de irte: consigue FoxAlgo Data Studio gratis — datos de mercado tick a tick reales, auto-agregados a cualquier marco temporal, listos para exportar a NinjaTrader, MT4/MT5 y CSV.