As palavras que os vendedores de estratégias usam, definidas de forma clara — e o que realmente descobrimos ao testar cada uma delas em mais de 1.000 estratégias e mais de 1.700 indicadores. Sem jargões apenas por usar. Cada termo tem um link para a conclusão por trás dele, quando houver uma.
Como uma estratégia é reprovada em nossa auditoria
Sem vantagem real (sem vantagem bruta)
Uma estratégia tem vantagem quando suas regras superam uma entrada aleatória, do tipo “jogo de moeda”, nas mesmas barras, antes mesmo de qualquer custo ser deduzido. A ausência de vantagem bruta significa que o sinal nunca previu nada. As entradas eram ruído disfarçado de lógica. Esse é o motivo mais comum pelo qual rejeitamos uma estratégia, e é a conclusão que as pessoas menos esperam. Quase metade de tudo o que descartamos falhou exatamente aqui, antes mesmo que o slippage, o spread ou a comissão entrassem nos cálculos. O argumento popular é que os custos acabam com as estratégias. Na maioria das vezes, eles nem têm essa chance. A maioria dos sistemas rejeitados nunca chegou a funcionar. Quando você analisa a curva de patrimônio para verificar se a regra realmente previu o próximo movimento, a resposta geralmente é não.
A estratégia gerou lucro porque o mercado subiu enquanto ela, por acaso, estava em posição comprada. Isso é beta, exposição ao mercado, disfarçada de habilidade. A estratégia de “comprar e manter” teria se saído tão bem ou melhor, com menos regras a serem quebradas. Isso aparece constantemente em sistemas exclusivamente comprados, testados retrospectivamente ao longo de uma década de alta. Em nossa auditoria, o beta de tendência é o segundo motivo mais comum pelo qual rejeitamos uma estratégia, ficando atrás apenas da ausência total de vantagem competitiva. O teste é direto: compare o sistema com a simples manutenção do instrumento durante o mesmo período. Se uma posição passiva corresponder à curva, as regras não agregaram nada. Um mercado em alta favorece praticamente qualquer estratégia de posições compradas. Nosso trabalho é eliminar essa tendência e ver o que, se é que resta algo, permanece.
Quase todo o lucro veio de um número minúsculo de dias atípicos. Se retirarmos os melhores dias, a curva se achata ou se torna negativa. A estratégia não teve vantagem ao longo do tempo; ela acertou alguns prêmios e seguiu na maré boa. Testamos isso removendo a fatia superior dos dias vencedores e executando o teste novamente. Uma vantagem real sobrevive mesmo perdendo seus melhores 10%. Um bilhete de loteria, não. O lucro concentrado na cauda é nosso terceiro motivo mais comum de rejeição, e é o mais sedutor, porque o retorno nominal parece espetacular. O problema é que você não pode programar esses dias e, na prática, geralmente perderá os maiores devido a uma lacuna, uma interrupção ou um preenchimento incorreto. Uma curva baseada em cinco velas verdes não é um sistema.
A estratégia tinha uma vantagem genuína no papel, mas o spread real, a comissão e o slippage a devoraram por completo. Positivo no bruto, negativo no líquido. Esse é o fracasso que todos esperam que seja o grande. Mas não é. “Custo fatal” é apenas o quarto motivo mais comum de rejeição. A história mais divulgada, de que os custos de negociação matam silenciosamente bons sistemas, é real, mas exagerada. Muito mais estratégias simplesmente não tinham vantagem para perder desde o início. Quando os custos são o fator determinante, o período de tempo costuma ser o motivo: quanto mais curto o intervalo, mais o spread importa. Operações cambiais com intervalos inferiores a 15 minutos fracassam aqui de forma tão confiável que não testamos mais estratégias de câmbio ou CFDs em gráficos com intervalos inferiores a 30 minutos. Um sistema pode acertar na direção e ainda assim perder todos os meses devido aos seus próprios custos de transação.
Ajuste parâmetros o suficiente e qualquer estratégia se encaixará perfeitamente no histórico, incluindo o ruído aleatório que não se repetirá. Isso é ajuste de curva: um sistema otimizado para um passado que já se foi. Ele parece impecável na amostra e desmorona com dados que nunca viu. O indício é a fragilidade. Basta ajustar uma configuração e a bela curva desmorona. O sistema memorizou o histórico; ele não aprendeu uma regra. Nós nos protegemos contra isso testando fora da amostra, em anos e instrumentos que o otimizador nunca tocou. O sobreajuste puro representa uma parcela menor de rejeição do que você imagina, porque a maioria dos sistemas com sobreajuste é desclassificada em nossas verificações iniciais, já que não possui nenhuma vantagem real desde o início, apenas uma miragem bem ajustada. Uma estratégia com quatorze parâmetros ajustados não encontrou uma vantagem. Ela está apenas memorizando.
O backtest usa informações que ainda não teriam existido no momento da negociação. Um sinal calculado no fechamento do dia, mas executado na abertura do dia. Um indicador que se atualiza dinamicamente, revisando discretamente as barras anteriores. O resultado é uma curva que nunca poderia ter sido negociada. O viés de antecipação é o erro mais perigoso no backtest, pois produz a falsificação mais convincente. Em nosso processo, toda estratégia que sobrevive à análise numérica passa por uma segunda verificação, na qual nosso modelo mais robusto busca, de forma adversária, exatamente isso: uma execução que foi antecipada, um valor que vazou do futuro. É uma fatia menor de nossas rejeições do que a categoria “no-edge”, mas mais onerosa, pois esses são os sistemas que parecem os melhores até o momento em que você os negocia — e então desmoronam.
Embaralhe os dados, randomize a ordem das negociações ou distorça o sinal e, em seguida, veja se a vantagem sobrevive. Se uma estratégia tiver um desempenho tão bom com ruído quanto com a série real, seus resultados foram fruto da sorte. Esse é o controle placebo que a maioria dos backtests publicados ignora completamente. Nós o aplicamos em tudo. Uma parcela significativa de sistemas que pareciam lucrativos desmorona no momento em que seu timing é aleatorizado, porque o padrão residia no ajuste, não no mercado. O teste de permutação não é nada glamoroso e faz com que muitas curvas bonitas desapareçam, e é exatamente por isso que ele deve fazer parte do processo. Se sua estratégia não consegue superar uma versão embaralhada de si mesma, você encontrou uma coincidência e a chamou de sistema. Barato de executar, brutal de falhar.
Suposição de preenchimento intrabar / barra a barra
Quando uma barra abrange uma faixa de preços, o backtester precisa decidir a ordem em que a máxima, a mínima, a abertura e o fechamento ocorreram dentro dela. Se essa ordem for errada, um trailing stop ou uma saída intrabar será executada a um preço que nunca teria sido acionado nessa sequência. É aí que muitos sistemas de trailing stop trapaceiam discretamente. A suposição ingênua “barra por barra” proporciona a eles saídas que não teriam conseguido capturar em tempo real. Medimos a diferença: as execuções “barra por barra” superestimam as estratégias de stop móvel em 42 a 84 por cento em comparação com um modelo intrabar realista. Isso não é um erro de arredondamento. Para toda uma classe de sistemas, essa superestimativa é o próprio produto que está sendo vendido. A vantagem reside em uma suposição sobre o interior de uma vela e não resiste ao contato com os ticks reais.
Duplique sua posição após cada perda para que a próxima vitória recupere tudo, depois recomece. No papel, a conta só cresce gradualmente, porque você se recusa a registrar uma perda. Na realidade, cada sequência de perdas aumenta a posição geometricamente até que uma única sequência esvazie a conta. O Martingale é o mecanismo por trás da maioria dos bots de grid e DCA, independentemente de usarem ou não esse termo. É por isso que eles apresentam taxas de ganho quase perfeitas e, em seguida, fracassam diante de uma única tendência. Testamos 76 sistemas de grid, DCA e Martingale em futuros, câmbio e criptomoedas. Todos falharam, uma taxa de rejeição de 100%, a única categoria em toda a auditoria a atingir esse resultado. A matemática não é um problema de ajuste que você possa resolver com uma grade mais ampla. É o próprio design.
Uma grade posiciona uma sequência de ordens de compra e venda em intervalos fixos, com o objetivo de aproveitar as oscilações do mercado. Em um movimento lateral, ela gera pequenos lucros constantes e parece imbatível. Então, o mercado entra em tendência, o lado perdedor da sequência se acumula e a perda aberta engolirá todo o lucro que a grade já registrou. Testamos 76 sistemas de grade e DCA com cotações reais de compra/venda em três classes de ativos. Todos falharam, 100%, sem sobreviventes — o resultado mais contundente da auditoria. O fracasso não se deve a configurações inadequadas. É estrutural: uma grade aposta contra a volatilidade e a favor da esperança, e, eventualmente, a volatilidade cobra o preço. A curva de patrimônio bem organizada é real até o dia em que deixa de ser.
DCA (dollar-cost averaging, no sentido dos bots de negociação)
No mundo dos investimentos, a média de custo em dólares significa comprar um valor fixo em um cronograma, um hábito sensato e monótono. No mundo dos bots de negociação, o termo foi deturpado. Aqui, DCA significa reduzir o custo médio de uma posição que já está perdendo, comprando mais à medida que o preço cai para baixar o seu preço de entrada. Isso é a estratégia martingale disfarçada com um nome respeitável. O bot apresenta uma alta taxa de ganhos porque mantém a posição e adiciona mais até que o preço eventualmente se recupere, fechando no azul enquanto o prejuízo inicial cresce silenciosamente por baixo. Testamos esses robôs junto com os sistemas de grade: 76 sistemas, todos falharam após os custos reais serem contabilizados. A média em uma posição perdedora funciona enquanto a posição continuar perdendo, e o mercado não deve nenhuma recuperação ao seu preço médio. A estratégia que sempre ganha é geralmente aquela que esconde suas perdas em negociações que não serão fechadas.
A taxa de acerto é a proporção de negociações que fecham no azul. É a primeira estatística que todo vendedor de estratégia cita e a mais enganosa que poderia escolher. Um sistema pode vencer 95% das vezes e ainda assim ser um perdedor garantido, se as raras perdas forem grandes o suficiente para engolir todos os pequenos ganhos. Essa lacuna é todo o truque das estratégias martingale e grid: ao fazer a média para baixo e se recusar a fechar no vermelho, um bot cria uma taxa de acerto impressionante, enquanto uma única tendência ruim acaba com a conta. Uma alta taxa de acertos é uma escolha de design, não uma vantagem. Nos importamos com o que os ganhos geram em comparação com o custo das perdas, ao longo de todo o drawdown, e não com a porcentagem de posições lucrativas. Pergunte a qualquer bot que anuncie uma taxa de acertos de 99% qual é o valor de sua pior perda isolada.
Drawdown é a queda do pico do patrimônio líquido até o vale seguinte, ou seja, o quanto você fica no vermelho antes de atingir uma nova alta, medido em porcentagem ou moeda. É o número que indica se você realmente poderia ter mantido o sistema sem ir à falência ou ter que sair do mercado. O drawdown de operações fechadas é honesto. O drawdown de posições abertas é onde os bots de grid e DCA escondem o verdadeiro quadro. Como se recusam a fechar uma operação perdedora, seu patrimônio registrado parece estável, enquanto a perda real e não realizada cresce desmedidamente nas posições ainda abertas no livro contábil. A conta pode estar em queda catastrófica, enquanto o histórico de negociações mostra uma sequência ininterrupta de ganhos. Medimos a queda nas posições abertas, não a curva lisonjeira das posições fechadas. Uma taxa de acerto próxima a 100% e uma queda capaz de acabar com a conta são a mesma estratégia descrita de duas maneiras diferentes.
Slippage é a diferença entre o preço que você esperava e o preço que você realmente obteve. Os mercados se movimentam entre sua decisão e a execução da ordem, e a diferença sai da sua conta, operação após operação. A maioria dos backtests pressupõe que você executa a ordem exatamente pelo preço do sinal, um presente que nenhuma corretora real lhe dá. Modele isso com honestidade e os sistemas de volume reduzido, rápidos ou de timeframe curto perdem uma parte significativa da vantagem que nunca tiveram de sobra. O slippage é um dos três custos — junto com o spread e a comissão — por trás de nossas rejeições fatais em termos de custo: os sistemas que eram positivos em termos brutos, mas negativos em termos líquidos. Ele atinge com mais força onde as negociações são frequentes e o volume é grande em relação ao que está registrado no livro. Uma execução que você presumiu ser gratuita é um valor que você tomou emprestado de uma curva que não o reembolsará na prática.
O spread é a diferença entre a melhor oferta de compra e a melhor oferta de venda. Você compra pelo preço mais alto e vende pelo mais baixo, e a diferença é um custo que você paga a cada operação, ganhe ou perca. Parece trivial até você passar por isso milhares de vezes. Nós o modelamos a partir de dados reais de ticks com cotações reais de compra/venda, não de uma suposição fixa aplicada aos preços de fechamento. Quanto mais curto o intervalo de tempo, mais isso pesa. Operações cambiais com intervalos inferiores a 15 minutos morrem quase inteiramente devido ao spread; a vantagem é real, mas menor do que o custo para aproveitá-la, e é por isso que paramos de testar estratégias de câmbio e CFDs em gráficos com intervalos inferiores a 30 minutos. Um backtest realizado com base no preço médio elimina discretamente esse custo. Contas reais não conseguem fazer isso.
Dados de tick são cada cotação e negociação individual, com os preços reais de compra e venda a cada momento, e não um único preço amostrado uma vez por barra. É a matéria-prima de que a modelagem honesta de custos realmente precisa. Faça um backtest com fechamentos de velas arrumados e você nunca verá o spread que realmente pagaria ou a execução que realmente obteria. Para câmbio, usamos dados de tick com preços de compra e venda genuínos, de modo que o spread e o slippage são medidos, não estimados. Para futuros, analisamos 13 anos de dados da CME. A diferença não é meramente acadêmica. Um sistema que liquida com base no preço médio da vela pode ficar no vermelho no momento em que você atribui a ele o custo real de cada entrada e saída. Dados baratos geram respostas baratas. Se o modelo de custo é uma suposição, o mesmo vale para o veredicto sobre a estratégia.
O teste walk-forward ajusta uma estratégia em um trecho do histórico, depois a testa no trecho seguinte, que ela nunca viu, e avança essa janela ao longo do tempo. O teste fora da amostra é o ponto principal: se uma vantagem for real, ela funciona em dados que o otimizador não pôde examinar. Se ela só se destaca nos anos em que foi ajustada, significa que memorizou ruído. Essa é a verificação que separa uma regra genuína de uma coincidência bem embelezada, e é a que a maioria dos backtests publicados ignora, pois faz com que os resultados pareçam piores. Testamos em anos e instrumentos que não foram incluídos em nenhum ajuste. Uma estratégia que precisa ver a resposta antes do teste não é uma previsão. Vantagens reais são enfadonhas nesse sentido. Elas continuam funcionando em dados aos quais ninguém as ajustou.
Os contratos futuros vencem; portanto, para fazer um backtest ao longo dos anos, você une o contrato que está vencendo ao próximo, formando uma única série contínua. Se fizer isso de forma descuidada, você introduz lacunas fantasmas ou lucros a cada rolagem que nenhum trader jamais capturou. O ajuste retroativo — que desloca os dados antigos para que a junção fique suave — corrige o gráfico, mas pode tornar os preços mais antigos negativos ou distorcer os retornos percentuais se você for descuidado com o método. É uma armadilha silenciosa dos dados: a estratégia parece ter gerado lucro, quando na verdade isso foi apenas um artefato da forma como a série foi unida. Analisamos 13 anos de futuros da CME e lidamos com a rolagem de forma deliberada, pois uma junção malfeita pode criar uma vantagem do nada. O contrato que você testa retrospectivamente precisa corresponder ao contrato que você realmente poderia ter negociado.
O índice de Sharpe é o número que os traders usam para parecerem rigorosos — retorno por unidade de risco, em um único valor claro. É também um dos números mais fáceis de distorcer no mercado. O índice de Sharpe mede o retorno por unidade de risco: pegue o retorno médio de uma estratégia, subtraia a taxa livre de risco e divida pela volatilidade desses retornos. Uma estratégia que rende 20% ao ano com oscilações bruscas pode ter um desempenho pior do que outra que rende 12% de forma estável. A métrica existe especificamente para avaliar essa volatilidade.
Os testes múltiplos são a razão pela qual um bom backtest é o resultado menos surpreendente na auditoria. Teste estratégias suficientes e algumas parecerão lucrativas apenas por acaso; a questão nunca é se você encontrou uma, mas se o padrão que você superou foi alto o suficiente para fazer diferença. Teste uma estratégia e uma taxa de acerto um pouco acima do lançamento de uma moeda parece uma vantagem. Teste mil estratégias e, apenas por acaso, várias ultrapassarão essa mesma meta com folga. Nenhuma delas encontrou nada de concreto. Alguém simplesmente teve que ganhar na loteria. Testes múltiplos (também chamados de “data-snooping”) é o que acontece quando esse número de tentativas é deixado de fora da matemática da significância. A linha habitual de aprovação/reprovação para um backtest — uma estatística t próxima a 2 — foi criada para testar uma ideia por vez. Passe mil ideias por essa mesma linha e os falsos positivos superarão em número os sinais reais antes mesmo que alguém comece a analisar.
Um indicador de repintura mostra um histórico diferente daquele exibido em tempo real. O sinal com base no qual você negociou geralmente já se moveu quando você volta a analisá-lo. Um indicador de repintura mostra uma coisa no gráfico hoje e outra coisa na mesma barra amanhã, sem que nenhum código tenha sido alterado nesse intervalo. A seta que sinalizou um fundo perfeito no fechamento de terça-feira pode se deslocar ou desaparecer até quinta-feira, porque o cálculo por trás dela nunca foi concluído quando apareceu pela primeira vez. O que você viu em tempo real e o que o histórico mostra agora são dois registros diferentes da mesma vela.
O fator de lucro é o lucro bruto dividido pelo prejuízo bruto, e é um dos números de backtest mais fáceis de inflar sem alterar uma única regra de negociação. O fator de lucro é o lucro bruto dividido pelo prejuízo bruto. Some todas as negociações lucrativas, some todas as negociações com prejuízo e divida o primeiro valor pelo segundo. O Cross 1.0 e a estratégia geraram mais ganhos do que perdas, pelo menos no papel. É um único número, fácil de calcular, fácil de colocar em uma página de vendas.
Essas são as razões pelas quais as estratégias acabam na “Lista Negativa” — a auditoria completa, com o nome de cada estratégia, seu veredicto e o motivo exato pelo qual foi aprovada ou rejeitada.
Antes de ir: pegue o FoxAlgo Data Studio de graça — dados de mercado reais em nível de tick, agregados automaticamente para qualquer tempo gráfico, prontos para exportar para NinjaTrader, MT4/MT5 e CSV.