Tests multiples / data-snooping

Testez une stratégie et un taux de réussite légèrement supérieur à un pile ou face semble être un avantage. Testez un millier de stratégies et, par pur hasard, plusieurs franchiront ce même seuil avec une marge confortable. Aucune d'entre elles n'a trouvé quoi que ce soit de réel. Quelqu'un devait juste gagner à la loterie. Les tests multiples (également appelés data-snooping) se produisent lorsque ce nombre de tentatives est omis du calcul de signification. La ligne de réussite/échec habituelle pour un backtest, une statistique t proche de 2, a été conçue pour tester une idée à la fois. Faites passer un millier d'idées par cette même ligne et les faux positifs dépasseront les signaux réels avant même que quiconque n'ait commencé à chercher.

La solution n'est pas un test différent. C'est un seuil plus élevé. Plus il y a de stratégies en compétition pour le titre de celle qui fonctionne, plus un résultat doit se situer loin dans la queue de distribution avant de signifier autre chose que la chance de trouver une aiguille dans une botte de foin qu'elle a elle-même créée. Un backtest qui aurait impressionné un chercheur solitaire il y a des décennies est un bruit anodin une fois qu'il est le meilleur d'un millier de tentatives exécutées consécutivement.

C'est la raison pour laquelle nos chiffres de rejet sont si élevés. Nous avons testé plus de 1 000 stratégies et plus de 1 700 indicateurs, soit plus de 2 700 scripts au total, et une belle courbe de capital est exactement ce que cette échelle prédit, même si chacun d'entre eux était sans valeur. Un seul backtest flatteur ne prouve rien en soi ; voir pas de véritable avantage pour savoir à quelle fréquence le signal sous-jacent s'avère être du bruit déguisé en stratégie. Le surapprentissage est une stratégie qui s'adapte à son propre bruit ; les tests multiples, c'est nous qui nous adaptons au bruit d'un millier de stratégies à la fois. Même piège, échelle différente.

Nous traitons chaque survivant comme coupable jusqu'à ce qu'il franchisse un seuil dimensionné pour l'ensemble de la recherche, et non pour un seul backtest. Une partie de cela consiste à effectuer un test placebo contre des versions brouillées des mêmes données : si une stratégie semble toujours bonne sur du bruit, le résultat original n'a jamais concerné le marché. Une autre partie consiste à refuser de s'arrêter à la première exécution prometteuse et de la considérer comme terminée.

Le nombre honnête à la fin de ce filtre est faible. 78.4% des stratégies que nous avons testées ont été rejetées d'emblée, 14.8% ont montré un avantage conditionnel sous des conditions spécifiques, et 0.7% (sept stratégies) ont franchi tous les obstacles et ont obtenu un verdict de déploiement. Ce ratio n'est pas du pessimisme. C'est ce qui se produit lorsque vous corrigez le nombre de chances que le bruit a eu de vous tromper.