Test walk-forward / hors échantillon

Le test walk-forward ajuste une stratégie sur une tranche d'historique, puis la teste sur la tranche suivante qu'elle n'a jamais vue, et fait avancer cette fenêtre dans le temps. Ajuster sur une période de données. Tester à l'aveugle sur la période immédiatement après. Intégrer cette période dans l'ensemble d'entraînement, puis tester à l'aveugle sur la suivante. Répéter jusqu'à ce que la fenêtre atteigne aujourd'hui.

Le hors échantillon est l'objectif principal. Si un avantage est réel, il fonctionne sur des données que l'optimiseur n'a pas pu consulter lors du choix des paramètres. S'il ne brille que sur les années pour lesquelles il a été ajusté, il a mémorisé le bruit et l'a appelé une règle. C'est la vérification qui sépare une règle authentique d'une coïncidence bien décorée, et c'est celle que la plupart des backtests publiés ignorent car elle rend les résultats moins bons.

Sans walk-forward, une stratégie n'a qu'un seul maître à satisfaire : la courbe historique sur laquelle elle a été ajustée. Ajoutez suffisamment de paramètres, un stop ici, un filtre là, une longueur de lookback magique, et presque n'importe quelle courbe de capital peut être faite pour grimper. Aucun de ces ajustements n'a à survivre à une année que l'optimiseur n'a jamais touchée. Le walk-forward l'y force.

Nous testons sur des années et des instruments exclus de tout ajustement, en exécutant cette fenêtre exclue sur 13 ans de futures CME et de données FX au niveau du tick avec des bid/ask réels, et non sur la période sur laquelle la stratégie a été calibrée. Une stratégie qui a besoin de voir la réponse avant le test ne fait pas de prévisions. Elle récite.

Un système qui réussit l'ajustement intra-échantillon mais s'effondre en walk-forward est généralement juste du surapprentissage déguisé, un ajustement trouvé en essayant suffisamment de variations pour qu'une corresponde au bruit. Ce risque s'aggrave avec chaque configuration supplémentaire essayée, ce qui est exactement le problème que les tests multiples corrigent. Un test placebo aborde une question connexe sous un autre angle : si l'avantage survivrait si les entrées étaient mélangées au hasard. Le walk-forward demande plutôt s'il survit au temps.

Les vrais avantages sont ennuyeux de cette façon. Ils continuent de fonctionner sur des données pour lesquelles personne ne les a ajustés, sans une nouvelle série d'ajustements pour rester en vie. Une règle qui nécessite un réajustement constant pour continuer à fonctionner n'a jamais été une règle. C'était une courbe poursuivie.