Camminata in avanti / fuori campione

Il test walk-forward affina una strategia su una porzione di dati storici, poi la testa sulla porzione successiva mai vista prima e fa avanzare quella finestra temporale. Si addestra una strategia su un intervallo di dati. Si esegue un test cieco sull'intervallo immediatamente successivo. Si integra tale intervallo nel set di addestramento, quindi si esegue un test cieco sul successivo. Si ripete il processo finché l'intervallo temporale non raggiunge la data odierna.

Il punto cruciale è l'analisi out-of-sample. Se un vantaggio è reale, significa che funziona su dati che l'ottimizzatore non ha potuto esaminare durante la scelta dei parametri. Se invece si manifesta solo negli anni in cui è stato addestrato, significa che ha memorizzato del rumore e lo ha spacciato per una regola. Questo è il controllo che distingue una regola autentica da una coincidenza ben mascherata, ed è quello che la maggior parte dei backtest pubblicati omette perché fa apparire i risultati peggiori.

Senza il walk-forward, una strategia deve soddisfare un solo requisito: la curva storica rispetto alla quale è stata ottimizzata. Aggiungendo parametri a sufficienza, uno stop qui, un filtro lì, una lunghezza di lookback magica, quasi qualsiasi curva di rendimento può essere fatta salire. Nessuna di queste ottimizzazioni deve resistere a un anno che l'ottimizzatore non ha mai toccato. Il walk-forward, invece, la obbliga a farlo.

Eseguiamo i test su anni e strumenti esclusi da qualsiasi calibrazione, confrontando tale finestra temporale con 13 anni di future CME e dati FX tick-by-tick con bid/ask reali, non con il periodo di tempo su cui la strategia è stata calibrata. Una strategia che ha bisogno di vedere la risposta prima del test non sta facendo previsioni. Sta solo recitando.

Un sistema che eccelle nell'adattamento in-sample ma collassa nel walk-forward è solitamente solo un overfitting mascherato, un adattamento trovato provando un numero sufficiente di varianti da far sì che una di esse corrispondesse inevitabilmente al rumore. Questo rischio aumenta con ogni configurazione aggiuntiva provata, ed è proprio questo il problema che i test multipli correggono. Un test placebo affronta una questione correlata da un'altra angolazione, ovvero se il vantaggio sopravvivrebbe se le voci fossero mescolate in modo casuale. Il walk-forward, invece, si chiede se sopravvive nel tempo.

I veri limiti sono noiosi in questo senso. Continuano a funzionare su dati per i quali nessuno li ha adattati, senza bisogno di una nuova messa a punto per rimanere attivi. Una regola che necessita di continui adattamenti per continuare a funzionare non è mai stata una regola. Era una curva inseguita.