Walk-forward / Out-of-Sample

Walk-forward-Tests optimieren eine Strategie auf einem historischen Datenabschnitt, testen sie dann auf dem nächsten Abschnitt, den sie noch nie gesehen hat, und verschieben dieses Fenster zeitlich vorwärts. Anpassen an einen Datenabschnitt. Blind testen auf dem unmittelbar darauf folgenden Abschnitt. Diesen Abschnitt in den Trainingsdatensatz aufnehmen und dann blind auf dem nächsten testen. Wiederholen, bis das Fenster den heutigen Tag erreicht.

Out-of-Sample ist der entscheidende Punkt. Wenn ein Vorteil real ist, funktioniert er auf Daten, die der Optimierer bei der Parameterwahl nicht einsehen konnte. Wenn er nur in den Jahren glänzt, für die er angepasst wurde, hat er Rauschen auswendig gelernt und es eine Regel genannt. Dies ist die Überprüfung, die eine echte Regel von einem gut verpackten Zufall trennt, und es ist diejenige, die die meisten veröffentlichten Backtests überspringen, weil sie die Ergebnisse schlechter aussehen lässt.

Ohne Walk-forward muss eine Strategie nur einen Meister zufriedenstellen: die historische Kurve, an die sie angepasst wurde. Fügt man genügend Parameter hinzu, einen Stop hier, einen Filter dort, eine magische Rückblicklänge, kann fast jede Equity-Kurve zum Anstieg gebracht werden. Keine dieser Anpassungen muss ein Jahr überleben, das der Optimierer nie berührt hat. Walk-forward zwingt sie dazu.

Wir testen auf Jahre und Instrumente, die von jeglicher Optimierung ausgeschlossen sind, und führen dieses ausgeschlossene Fenster gegen 13 Jahre CME-Futures und Tick-Level-FX-Daten mit echten Bid/Ask-Kursen, nicht gegen den Abschnitt, auf den die Strategie kalibriert wurde. Eine Strategie, die die Antwort vor dem Test sehen muss, prognostiziert nicht. Sie rezitiert.

Ein System, das die In-Sample-Anpassung meistert, aber bei Walk-forward zusammenbricht, ist meist nur Overfitting in Verkleidung, eine Anpassung, die durch das Ausprobieren genügend vieler Variationen gefunden wurde, sodass eine davon zwangsläufig dem Rauschen entsprechen musste. Dieses Risiko steigt mit jeder zusätzlich ausprobierten Konfiguration, was genau das Problem ist, das Multiple Testing korrigiert. Ein Placebo-Test greift eine verwandte Frage aus einem anderen Blickwinkel an, nämlich ob der Vorteil überleben würde, wenn die Einträge zufällig gemischt würden. Walk-forward fragt stattdessen, ob er die Zeit überlebt.

Echte Vorteile sind auf diese Weise langweilig. Sie funktionieren weiterhin auf Daten, an die niemand sie angepasst hat, ohne eine neue Runde der Optimierung, um am Leben zu bleiben. Eine Regel, die ständiges Refitting benötigt, um zu funktionieren, war nie eine Regel. Es war eine Kurve, die gejagt wurde.