Placebo / Permutationstest

Mischen Sie die Daten. Randomisieren Sie die Handelsreihenfolge, verzerren Sie das Einstiegssignal und führen Sie dann genau dieselbe Strategie auf der verzerrten Version erneut aus. Wenn sie mit dem Rauschen genauso viel Geld einbringt wie mit der echten Datenreihe, war das ursprüngliche Ergebnis keine Strategie. Es war ein Zufall, der sich als Strategie tarnt. Das ist ein Permutationstest, und er ist die Placebo-Kontrolle, die die meisten veröffentlichten Backtests gänzlich überspringen.

Die Logik stammt direkt aus klinischen Studien. Ein Medikament muss besser sein als ein Placebo, nicht einfach nur besser als gar nichts. Eine Handelsregel muss eine randomisierte Version ihrer selbst übertreffen, nicht einfach nur eine „Buy-and-Hold“-Linie auf einem Chart. Die Randomisierung der Handelsreihenfolge oder der Balkenabfolge zerstört jeglichen echten zeitlichen Zusammenhang zwischen der Regel und dem Markt, während die zugrunde liegende Renditeverteilung unberührt bleibt. Wenn sich die Performance kaum verändert, hat die Regel den Markt nie richtig gelesen. Sie hat nur die Anpassung gelesen.

Wir wenden dies auf alles an, was die vorherigen Filter überstanden hat – als permanentes Tor in der Pipeline. Ein bedeutender Anteil der Strategien, die wirklich profitabel aussahen, bricht in dem Moment zusammen, in dem ihr Timing durcheinandergewürfelt wird, weil das Muster, von dem ein Entwickler glaubte, es gefunden zu haben, in den Parametern lag und nicht in der Kursentwicklung. Das ist eng verwandt mit Überanpassung, bei der die Kurve an die Vergangenheit angepasst wurde, anstatt etwas zu entdecken, das verallgemeinerbar ist. Es deckt auch Fälle auf, die bei einer einfachen Edge-Prüfung übersehen werden: Eine Strategie kann die Hürde ohne echten Vorteil bei den reinen Einstiegspunkten nehmen und dennoch scheitern, sobald ihre genaue Abfolge durcheinandergebracht wird.

Der Test ist wenig glamourös. Er belohnt eine Strategie nicht dafür, dass sie clever ist, sondern nur dafür, dass sie einen Angriff auf ihre eigene Prämisse übersteht, und er lässt viele hübsche Wertentwicklungskurven verschwinden. Genau deshalb gehört er in die Pipeline. Je mehr Parameter ein System umfasst und je mehr Varianten ein Entwickler ausprobiert hat, bevor er sich für „die eine“ entschieden hat, desto wahrscheinlicher ist es, dass ein Permutationstest das Einzige ist, was zwischen einem echten Vorteil und als Disziplin getarntem Rauschen steht. Dieses Risiko verstärkt sich bei Mehrfachtests: Je mehr durcheinandergewürfelte oder optimierte Konfigurationen man bereit ist auszuprobieren, desto eher wird eine davon rein zufällig großartig aussehen – und nur eine Placebo-Kontrolle deckt dies im Nachhinein auf.

Günstig durchzuführen, brutal im Scheitern. Wenn eine Strategie eine randomisierte Version ihrer selbst nicht schlagen kann, ist sie kein System. Es ist eine Geschichte, die jemand über ein Diagramm erzählt hat, nachdem das Diagramm bereits entstanden war.