Test multipli / analisi dei dati

Testando una singola strategia, una percentuale di successo di poco superiore al lancio di una moneta sembra un vantaggio. Testando mille strategie, per puro caso, diverse supereranno la stessa soglia con ampio margine. Nessuno di loro ha trovato nulla di reale. Qualcuno doveva per forza vincere alla lotteria. Il test multiplo (detto anche data-snooping) è ciò che accade quando quel numero di tentativi viene escluso dal calcolo della significatività. La solita soglia di superamento/fallimento per un backtest, una statistica t vicina a 2, è stata concepita per testare un'idea alla volta. Se si testano mille idee con la stessa soglia, i falsi positivi supereranno i segnali reali prima ancora che qualcuno abbia iniziato a cercare.

La soluzione non è un test diverso. È un livello di difficoltà più elevato. Più strategie competono per il titolo di quella efficace, più un risultato deve posizionarsi nella coda della distribuzione prima di avere un significato che vada oltre la fortuna di trovare un ago in un pagliaio creato da sé stessi. Un backtest che avrebbe impressionato un singolo ricercatore decenni fa, diventa un rumore insignificante una volta che rappresenta il migliore di mille tentativi consecutivi.

Questo è il motivo per cui i nostri numeri di rifiuto sono così elevati. Abbiamo testato oltre 1.000 strategie e oltre 1.700 indicatori, per un totale di oltre 2.700 script, e una curva di rendimento apparentemente positiva è esattamente ciò che quella scala prevede, anche se ognuna di esse fosse inutile. Un singolo backtest apparentemente positivo non dimostra nulla di per sé; non si nota alcun vantaggio reale nel determinare con quale frequenza il segnale sottostante si rivela essere rumore mascherato da strategia. L'overfitting si verifica quando una strategia si adatta al proprio rumore; i test multipli sono come l'adattamento al rumore di mille strategie contemporaneamente. Stessa trappola, scala diversa.

Consideriamo ogni risultato positivo come colpevole finché non supera una soglia di significatività adeguata all'intera ricerca, non a un singolo backtest. Parte di questo processo consiste nell'eseguire un test placebo su versioni alterate degli stessi dati: se una strategia continua a sembrare valida anche in presenza di rumore, il risultato originale non rispecchiava affatto l'andamento del mercato. Un'altra parte consiste nel rifiutarsi di fermarsi alla prima esecuzione promettente e considerarla conclusa.

Il numero reale alla fine di quel filtro è basso. Il 78,4% delle strategie che abbiamo testato è stato scartato senza indugi, il 14,8% ha mostrato un vantaggio condizionale in condizioni specifiche e lo 0,7% (sette strategie) ha superato ogni ostacolo e si è guadagnato un verdetto di applicabilità. Questa percentuale non è pessimistica. È ciò che accade quando si tiene conto di quante volte il rumore ha potuto ingannarci.