Testes múltiplos / espionagem de dados

Teste uma estratégia e uma taxa de acerto ligeiramente superior à de um cara ou coroa parecerá uma vantagem. Teste mil estratégias e, por mero acaso, várias delas ultrapassarão esse mesmo limite com folga. Nenhuma delas encontrou nada de concreto. Alguém simplesmente teve que ganhar na loteria. Testes múltiplos (também chamados de manipulação de dados) são o que acontece quando esse número de tentativas é ignorado nos cálculos de significância. O limite usual de aprovação/reprovação para um backtest, uma estatística t próxima de 2, foi criado para testar uma ideia por vez. Execute mil ideias seguindo esse mesmo limite e os falsos positivos superarão os sinais reais antes mesmo de alguém começar a analisá-los.

A solução não é um teste diferente. É um padrão mais elevado. Quanto mais estratégias competem pelo título de "a que funciona", mais distante na cauda da distribuição um resultado precisa estar para significar algo além da sorte de encontrar uma agulha em um palheiro criado por ela mesma. Um backtest que teria impressionado um pesquisador solitário décadas atrás se torna ruído insignificante quando é o melhor resultado de mil tentativas executadas consecutivamente.

É por isso que nossos índices de rejeição são tão altos. Testamos mais de 1.000 estratégias e mais de 1.700 indicadores, totalizando mais de 2.700 scripts, e uma curva de capital com boa aparência é exatamente o que essa escala prevê, mesmo que cada um deles fosse inútil. Um único backtest favorável não prova nada por si só; não há vantagem real na frequência com que o sinal subjacente se revela ruído disfarçado de estratégia. Sobreajuste é uma estratégia ajustando-se ao seu próprio ruído; testes múltiplos são nós ajustando-nos ao ruído de mil estratégias simultaneamente. A mesma armadilha, escala diferente.

Consideramos cada sobrevivente como culpado até que ele ultrapasse uma barreira do tamanho de toda a busca, não de um único backtest isolado. Parte disso é executar um teste placebo com versões embaralhadas dos mesmos dados: se uma estratégia ainda parecer boa com ruído, o resultado original nunca teve a ver com o mercado. Parte disso é recusar-se a parar na primeira execução promissora e considerar o trabalho concluído.

O resultado final dessa análise é pequeno. 78,4% das estratégias que testamos foram rejeitadas de imediato, 14,8% apresentaram uma vantagem condicional sob condições específicas e 0,7% (sete estratégias) superaram todos os obstáculos e obtiveram um veredito de implementação. Essa proporção não é pessimismo. É o que acontece quando se leva em consideração quantas oportunidades o ruído teve para nos enganar.