Teste de placebo/permutação

Embaralhe os dados. Randomize a ordem de negociação, embaralhe o sinal de entrada e, em seguida, execute exatamente a mesma estratégia na versão embaralhada. Se ela gerar o mesmo lucro com o ruído que gerou com a série real, o resultado original não era uma estratégia. Era uma coincidência disfarçada de estratégia. Isso é um teste de permutação, e é o controle placebo que a maioria dos backtests publicados ignora completamente.

A lógica é diretamente inspirada em ensaios clínicos. Um medicamento precisa superar um placebo, não apenas a ausência de efeito. Uma regra de negociação precisa superar uma versão aleatória de si mesma, não apenas uma linha de compra e manutenção em um gráfico. Aleatorizar a ordem de negociação ou a sequência de barras destrói qualquer relação temporal real entre a regra e o mercado, deixando a distribuição de retorno subjacente intacta. Se o desempenho mal se altera, a regra nunca esteve interpretando o mercado. Ela estava interpretando o ajuste.

Executamos isso em tudo que sobrevive aos filtros anteriores, como uma espécie de portão permanente no pipeline. Uma parcela significativa de estratégias que pareciam genuinamente lucrativas desmorona no momento em que seu timing é alterado, porque o padrão que um desenvolvedor pensava ter encontrado estava dentro dos parâmetros, e não na ação do preço. Isso é muito semelhante ao sobreajuste (overfitting) , onde a curva foi ajustada ao histórico em vez de descobrir algo que se generaliza. Também detecta casos que a simples verificação de bordas não identifica: uma estratégia pode passar no teste sem nenhuma vantagem real nas entradas brutas e ainda assim falhar quando sua sequência exata é embaralhada.

O teste é pouco glamoroso. Ele não recompensa uma estratégia por ser inteligente, apenas por sobreviver a um ataque à sua própria premissa, e faz com que muitas curvas de desempenho atraentes desapareçam. É exatamente por isso que ele deve estar no pipeline. Quanto mais parâmetros um sistema possui e quanto mais variações um desenvolvedor testa antes de chegar à "ideal", maior a probabilidade de um teste de permutação ser a única coisa que separa uma vantagem real do ruído disfarçado de disciplina. Esse risco se agrava com testes múltiplos : quanto mais configurações embaralhadas ou ajustadas você estiver disposto a testar, maior a probabilidade de uma delas parecer ótima por puro acaso, e apenas um controle placebo detectará isso posteriormente.

Barato para executar, brutal para falhar. Se uma estratégia não consegue vencer uma versão aleatória de si mesma, não é um sistema. É uma história que alguém contou sobre um gráfico, depois que o gráfico já aconteceu.