Test placebo/permutazione

Mescola i dati. Randomizza l'ordine di scambio, mescola il segnale di ingresso, quindi esegui di nuovo esattamente la stessa strategia sulla versione mescolata. Se genera lo stesso profitto sul rumore che ha generato sulla serie reale, il risultato originale non era una strategia. Era una coincidenza mascherata da strategia. Questo è un test di permutazione, ed è il controllo placebo che la maggior parte dei backtest pubblicati omette completamente.

La logica è mutuata direttamente dagli studi clinici. Un farmaco deve battere una pillola di zucchero, non semplicemente il nulla. Una regola di trading deve battere una versione randomizzata di se stessa, non semplicemente battere una linea di acquisto e mantenimento su un grafico. Randomizzare l'ordine di negoziazione o la sequenza delle barre distrugge qualsiasi reale relazione temporale tra la regola e il mercato, lasciando inalterata la distribuzione dei rendimenti sottostante. Se la performance si muove a malapena, la regola non ha mai letto il mercato. Ha letto l'adattamento.

Eseguiamo questo processo su tutto ciò che sopravvive ai filtri precedenti, come un controllo permanente nel processo. Una parte significativa di strategie che sembravano realmente redditizie crollano nel momento in cui la loro tempistica viene modificata, perché il modello che uno sviluppatore pensava di aver trovato si basava sui parametri, non sull'andamento dei prezzi. Questo è strettamente correlato all'overfitting , in cui la curva è stata calibrata sui dati storici invece di scoprire qualcosa di generalizzabile. Inoltre, individua casi che un semplice controllo dei margini non rileva: una strategia può superare la soglia senza un reale vantaggio sulle entrate grezze e fallire comunque una volta che la sua sequenza esatta viene alterata.

Il test è poco appariscente. Non premia una strategia per la sua ingegnosità, ma solo per la sua capacità di sopravvivere a un attacco alla sua stessa premessa, e fa sparire molte curve di rendimento apparentemente vantaggiose. Ed è proprio per questo che deve essere incluso nel processo di sviluppo. Più parametri ha un sistema e più varianti uno sviluppatore ha provato prima di optare per quella "ottimale", più è probabile che un test di permutazione sia l'unica cosa che separa un vantaggio reale da un semplice rumore mascherato da disciplina. Questo rischio aumenta con i test multipli : più configurazioni modificate o rimescolate si è disposti a provare, più è probabile che una di esse risulti vincente per puro caso, e solo un gruppo di controllo placebo può individuarla a posteriori.

Economico da gestire, disastroso in caso di fallimento. Se una strategia non riesce a battere una versione casuale di se stessa, non è un sistema. È una storia raccontata da qualcuno su un grafico, dopo che il grafico si è già verificato.