Caminhada para a frente / fora da amostra

O teste de regressão progressiva ajusta uma estratégia com base em um recorte histórico, depois a testa no recorte seguinte, nunca visto, e avança essa janela temporal ao longo do tempo. O ajuste é feito em um trecho de dados. Em seguida, realiza-se um teste cego no trecho imediatamente seguinte. Esse trecho é incorporado ao conjunto de treinamento e, então, realiza-se um teste cego no trecho seguinte. O processo se repete até que a janela temporal chegue aos dias atuais.

O objetivo principal é analisar dados fora da amostra. Se uma vantagem é real, ela funciona com base em dados que o otimizador não pôde observar ao escolher os parâmetros. Se ela só se destaca nos anos em que foi ajustada, o otimizador memorizou ruído e o chamou de regra. Essa verificação é o que diferencia uma regra genuína de uma coincidência bem elaborada, e é a que a maioria dos backtests publicados omite porque piora a aparência dos resultados.

Sem o recurso de análise retrospectiva (walk-forward), uma estratégia só precisa satisfazer um critério principal: a curva histórica com a qual foi otimizada. Adicione parâmetros suficientes, um stop loss aqui, um filtro ali, um período de lookback ideal, e quase qualquer curva de capital pode ser otimizada para subir. Nenhum desses ajustes precisa sobreviver a um ano em que o otimizador não tenha sido alterado. A análise retrospectiva força isso.

Testamos em anos e instrumentos mantidos fora de qualquer ajuste, executando essa janela de tempo reservada em 13 anos de futuros da CME e dados de câmbio em nível de tick com preços reais de compra e venda, não na faixa de preço em que a estratégia foi calibrada. Uma estratégia que precisa ver a resposta antes do teste não está prevendo. Está apenas recitando.

Um sistema que apresenta um ajuste perfeito dentro da amostra, mas falha no teste de regressão logística, geralmente é apenas um caso disfarçado de sobreajuste, um ajuste obtido ao se tentar tantas variações que uma delas inevitavelmente se ajustaria ao ruído. Esse risco aumenta a cada configuração adicional testada, que é exatamente o problema que os testes múltiplos corrigem. Um teste placebo aborda uma questão relacionada de outro ângulo: se a aresta sobreviveria caso as entradas fossem embaralhadas aleatoriamente. O teste de regressão logística, por sua vez, questiona se ela sobrevive ao longo do tempo.

As arestas reais são assim mesmo, entediantes. Elas continuam funcionando com dados para os quais ninguém as ajustou, sem uma nova rodada de ajustes para se manterem viáveis. Uma regra que precisa de reajustes constantes para continuar funcionando nunca foi uma regra de verdade. Era uma curva sendo perseguida.