Overfitting / adattamento di curve

Regolando un numero sufficiente di parametri, qualsiasi strategia si adatterà perfettamente alla cronologia, compreso il rumore casuale che non si ripeterà. Questo è il cosiddetto "curve-fitting" : un sistema ottimizzato per un passato ormai passato, mascherato da scoperta. Sembra impeccabile sui dati di esempio, ma crolla nel momento in cui incontra dati mai visti prima.

Il meccanismo è semplice matematica che gioca a tuo sfavore. Dai a un ottimizzatore un numero sufficiente di parametri liberi e troverà sempre una combinazione che spieghi il rumore nel tuo singolo campione, perché il rumore non ha nulla che lo distingua da un modello reale se non la fortuna. Aggiungi una piccola modifica allo stop-loss qui, una finestra di lookback lì, un filtro calibrato per catturare tre buone operazioni in un singolo anno, e la curva del capitale si raddrizza all'istante. Non ha scoperto come si comportano i mercati. Ha scoperto come quella singola porzione di storia si è mossa, una volta, e non si muoverà più.

Il segnale rivelatore è la fragilità. Basta spostare un parametro – la media mobile da 20 a 22, lo stop loss dal 2% al 2,2% – e la splendida curva crolla. Una strategia con un vantaggio reale e strutturale tollera piccole variazioni perché il vantaggio non risiede in un singolo numero. Una strategia basata sull'adattamento alla curva è come memorizzare, non imparare, e una risposta memorizzata è inutile di fronte a una domanda mai vista prima.

Ci tuteliamo da questo problema eseguendo test out-of-sample: anni e strumenti che l'ottimizzatore non ha mai preso in considerazione, esclusi appositamente affinché il sistema non possa ottenere un buon punteggio imbrogliando, la stessa logica alla base dei test walk-forward . Ciò significa anche che una strategia che è stata eseguita attraverso centinaia di combinazioni di parametri prima di essere considerata valida deve superare una soglia più alta rispetto a una che non lo è stata, perché più configurazioni vengono provate, più è probabile che una si adatti al rumore per puro caso: il problema dei test multipli insito in ogni esecuzione dell'ottimizzatore.

L'overfitting puro si rivela essere un problema meno frequente di quanto la maggior parte delle persone si aspetti. La maggior parte dei sistemi di curve-fitting non viene mai accusata di questo specifico reato, perché attivano prima un controllo precedente. Applicando le stesse regole a un test placebo , a dati randomizzati o mescolati, il "vantaggio" spesso sopravvive altrettanto bene come nel caso reale: la prova che non c'era mai stato un segnale di overfitting, ma solo un miraggio ben calibrato che si ergeva sul nulla.

Una strategia con quattordici input ottimizzati non ha trovato un vantaggio. Si tratta di ricordare un percorso irripetibile nel passato, nei minimi dettagli, e il passato non si ripete secondo un programma prestabilito.