Test placebo / de permutation

Mélangez les données. Randomisez l'ordre des transactions, brouillez le signal d'entrée, puis relancez exactement la même stratégie sur la version brouillée. Si elle génère autant d'argent sur le bruit que sur la série réelle, le résultat original n'était pas une stratégie. C'était une coïncidence déguisée en stratégie. C'est un test de permutation, et c'est le contrôle placebo que la plupart des backtests publiés ignorent entièrement.

La logique est directement empruntée aux essais cliniques. Un médicament doit battre un placebo, pas seulement ne rien battre. Une règle de trading doit battre une version randomisée d'elle-même, pas seulement battre une ligne d'achat et de maintien sur un graphique. La randomisation de l'ordre des transactions ou de la séquence des barres détruit toute relation de timing réelle entre la règle et le marché tout en laissant la distribution des rendements sous-jacente intacte. Si la performance bouge à peine, la règle ne lisait jamais le marché. Elle lisait l'ajustement.

Nous appliquons cela à tout ce qui survit aux filtres précédents, comme une porte permanente dans le pipeline. Une part significative des stratégies qui semblaient réellement rentables s'effondrent dès que leur timing est mélangé, car le motif qu'un développeur pensait avoir trouvé résidait dans les paramètres, et non dans l'action des prix. C'est un proche cousin du surapprentissage, où la courbe a été ajustée à l'historique au lieu de découvrir quelque chose qui se généralise. Cela détecte également les cas que la simple vérification d'avantage manque : une stratégie peut franchir le seuil de pas de véritable avantage sur les entrées brutes et échouer quand même une fois que son séquençage exact est brouillé.

Le test est peu glamour. Il ne récompense pas une stratégie pour son ingéniosité, seulement pour avoir survécu à une attaque de sa propre prémisse, et il fait disparaître de nombreuses jolies courbes de capitaux propres. C'est exactement pourquoi il doit faire partie du pipeline. Plus un système comporte de paramètres, et plus un développeur a essayé de variations avant de se décider pour "la bonne", plus il est probable qu'un test de permutation soit la seule chose qui se dresse entre un véritable avantage et du bruit déguisé en discipline. Ce risque s'aggrave avec les tests multiples : plus vous êtes prêt à essayer de configurations mélangées ou ajustées, plus l'une d'elles aura l'air excellente par pur hasard, et seul un contrôle placebo le détecte après coup.

Peu coûteux à exécuter, brutal à échouer. Si une stratégie ne peut pas battre une version randomisée d'elle-même, ce n'est pas un système. C'est une histoire que quelqu'un a racontée à propos d'un graphique, après que le graphique se soit déjà produit.