Fehlerart
Überanpassung / Kurvenanpassung
Wenn man genügend Parameter optimiert, passt sich jede Strategie perfekt an ihre eigene Historie an – einschließlich des Rauschens. Das ist Kurvenanpassung, und es ist der einfachste Weg, einen schönen Backtest zu erzeugen, der nichts aussagt.
Wenn man genügend Parameter anpasst, passt sich jede Strategie perfekt an die Historie an, einschließlich des zufälligen Rauschens, das sich nicht wiederholen wird. Das ist Kurvenanpassung: ein System, das für eine bereits vergangene Vergangenheit optimiert wurde und als Entdeckung getarnt ist. Es sieht im In-Sample-Bereich makellos aus und bricht in dem Moment zusammen, in dem es auf Daten trifft, die es noch nie gesehen hat.
Der Mechanismus ist einfache Mathematik, die gegen Sie arbeitet. Geben Sie einem Optimierer genügend freie Parameter, und er wird immer eine Kombination finden, die das Rauschen in Ihrer einen Stichprobe erklärt, denn Rauschen unterscheidet sich von einem echten Muster durch nichts außer Glück. Füge hier eine Stop-Loss-Anpassung hinzu, dort ein Lookback-Fenster, einen Filter, der so abgestimmt ist, dass er drei gute Trades aus einem einzigen Jahr erfasst, und schon glättet sich die Wertentwicklungskurve. Das System hat nicht herausgefunden, wie sich Märkte verhalten. Es hat herausgefunden, wie sich dieser eine Ausschnitt der Geschichte zufällig einmal bewegt hat – und sich nie wieder so bewegen wird.
Das verrät die Anfälligkeit. Verändere nur eine Einstellung – den gleitenden Durchschnitt von 20 auf 22, den Stop von 2 % auf 2,2 % – und die schöne Kurve bricht ein. Eine Strategie mit einem echten, strukturellen Vorteil verträgt kleine Änderungen, da der Vorteil nicht in einer einzelnen Zahl liegt. Eine kurvenangepasste Strategie merkt sich Dinge auswendig, statt zu lernen, und eine auswendig gelernte Antwort ist nutzlos gegenüber einer Frage, die sie noch nie gesehen hat.
Wir schützen uns davor durch Tests außerhalb der Stichprobe: Jahre und Instrumente, mit denen der Optimierer nie in Berührung gekommen ist und die bewusst zurückgehalten wurden, damit das System sich nicht zu einem guten Ergebnis mogeln kann – das ist dieselbe Logik, die auch hinter Walk-Forward-Tests steckt. Das bedeutet auch, dass eine Strategie, die bereits durch Hunderte von Parameterkombinationen durchlaufen wurde, bevor wir sie zu Gesicht bekamen, eine höhere Hürde nehmen muss als eine, bei der dies nicht der Fall war; denn je mehr Konfigurationen ausprobiert werden, desto wahrscheinlicher ist es, dass eine davon rein zufällig zum Rauschen passt – das Problem der Mehrfachtests, das jedem Optimierungslauf innewohnt.
Reine Überanpassung stellt sich als seltener Grund für eine Ablehnung heraus, als die meisten Menschen erwarten. Den meisten Kurvenanpassungssystemen wird dieses spezifische Vergehen nie zur Last gelegt, da sie zuvor bereits bei einer früheren Prüfung durchfallen. Wendet man dieselben Regeln auf einen Placebo-Test, verzerrte oder durcheinandergewürfelte Daten an, so bleibt der „Vorteil“ oft genauso bestehen wie bei den echten Daten – ein Beweis dafür, dass es nie ein Signal für eine Überanpassung gab, sondern nur eine gut angepasste Fata Morgana, die auf dem Nichts ruht.
Eine Strategie mit vierzehn abgestimmten Eingaben hat keinen Vorteil gefunden. Sie erinnert sich lediglich detailliert an einen einmaligen Pfad durch die Vergangenheit, und die Vergangenheit wiederholt sich nicht nach Plan.
Die Forschung dahinter
- Bailey, Borwein, López de Prado & Zhu (2014). „Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance.“ Notices of the AMS 61(5). — Zeigt, wie das Ausprobieren vieler Parameterkonfigurationen starke Backtest-Ergebnisse hervorbringen kann, die außerhalb der Stichprobe, auf die sie abgestimmt wurden, nicht Bestand haben.
- Bailey & López de Prado (2014). „The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-Normality.“ Journal of Portfolio Management 40(5). — Eine Methode zur Korrektur der Sharpe-Ratio einer Strategie hinsichtlich des Selektionsbias und des Überanpassungsrisikos, die in jedem optimierten Backtest enthalten sind.
- López de Prado (2018). „Advances in Financial Machine Learning.“ Wiley. — Beschreibt die Leakage-Fallen und Kreuzvalidierungsmethoden, die verhindern, dass ein Optimierer lediglich seine eigene Stichprobe auswendig lernt.
Externe Forschungsarbeiten, verlinkt zum Kontext und zur weiterführenden Lektüre. FoxAlgo ist unabhängig und steht in keiner Verbindung zu diesen Autoren oder Verlagen.
Dies sind die Begriffe hinter „The No List“ – dem vollständigen Audit, in dem jede Strategie und jeder Indikator namentlich genannt wird, zusammen mit dem Urteil und dem genauen Grund, warum sie bestanden hat oder verworfen wurde.
„The No List“ herunterladen →