Mehrfachprüfung / Data-Snooping

Testen Sie eine Strategie, und schon wirkt eine Gewinnquote, die nur geringfügig über der eines Münzwurfs liegt, wie ein Vorteil. Testen Sie tausend Strategien, und allein durch Zufall werden mehrere diese Messlatte mit großem Spielraum überspringen. Keine von ihnen hat etwas Echte gefunden. Jemand musste einfach im Lotto gewinnen. Mehrfachprüfungen (auch „Data-Snooping“ genannt) treten auf, wenn diese Anzahl von Versuchen bei der Berechnung der Signifikanz außer Acht gelassen wird. Die übliche Bestanden/Nicht bestanden-Grenze für einen Backtest – eine t-Statistik nahe 2 – wurde für das Testen jeweils einer Idee entwickelt. Lässt man tausend Ideen an derselben Schwelle vorbeilaufen, überwiegen die Fehlalarme die echten Signale, noch bevor man überhaupt mit der Suche begonnen hat.

Die Lösung ist kein anderer Test. Es ist eine höhere Messlatte. Je mehr Strategien um den Titel derjenigen konkurrieren, die funktioniert, desto weiter am Rand der Verteilung muss ein Ergebnis liegen, bevor es mehr bedeutet als reines Glück beim Finden einer Nadel in einem selbst geschaffenen Heuhaufen. Ein Backtest, der vor Jahrzehnten einen einzelnen Forscher beeindruckt hätte, ist nur noch unauffälliges Rauschen, sobald er das beste Ergebnis unter tausend nacheinander durchgeführten Versuchen ist.

Das ist der Grund, warum unsere Ablehnungsquoten so hoch sind. Wir haben über 1.000 Strategien und über 1.700 Indikatoren getestet – insgesamt über 2.700 Skripte –, und eine vielversprechende Wertentwicklungskurve ist genau das, was diese Größenordnung vorhersagt, selbst wenn jede einzelne davon wertlos wäre. Ein einzelner schmeichelhafter Backtest beweist für sich genommen nichts; man erkennt keinen echten Vorteil, da sich das zugrunde liegende Signal oft als Rauschen entpuppt, das sich als Strategie tarnt. Überanpassung ist eine Strategie, die sich an ihr eigenes Rauschen anpasst; bei Mehrfachtests passen wir uns gleichzeitig an das Rauschen von tausend Strategien an. Gleiche Falle, anderes Ausmaß.

Wir behandeln jeden Überlebenden als schuldig, bis er eine Schwelle überwindet, die auf die gesamte Suche zugeschnitten ist – nicht auf einen einzelnen Backtest. Dazu gehört auch die Durchführung eines Placebo-Tests mit verschlüsselten Versionen derselben Daten: Wenn eine Strategie bei Rauschen immer noch gut aussieht, hatte das ursprüngliche Ergebnis nichts mit dem Markt zu tun. Dazu gehört auch, dass wir uns weigern, beim ersten vielversprechenden Durchlauf aufzuhören und das Ergebnis als abgeschlossen zu betrachten.

Die ehrliche Zahl am Ende dieses Filters ist gering. 78,4 % der von uns getesteten Strategien wurden sofort verworfen, 14,8 % zeigten unter bestimmten Bedingungen einen bedingten Vorteil, und 0,7 % (sieben Strategien) überwandten jede Hürde und erhielten ein Urteil, das den Einsatz rechtfertigt. Dieses Verhältnis ist kein Pessimismus. Es ist das Ergebnis, wenn man berücksichtigt, wie oft das Rauschen die Chance hatte, einen in die Irre zu führen.