Placebo-/permutatietest

Schud de data door elkaar. Randomiseer de handelsvolgorde, vervorm het instapsignaal en voer vervolgens exact dezelfde strategie uit op de vervormde versie. Als de strategie evenveel winst maakt met ruis als met de echte data, was het oorspronkelijke resultaat geen strategie. Het was toeval vermomd als strategie. Dat is een permutatietest, en het is de placebocontrole die de meeste gepubliceerde backtests volledig overslaan.

De logica is rechtstreeks ontleend aan klinische studies. Een medicijn moet beter presteren dan een placebo, niet alleen beter dan niets. Een handelsregel moet beter presteren dan een gerandomiseerde versie van zichzelf, niet alleen beter dan een koop-en-houdlijn op een grafiek. Het randomiseren van de handelsorder of de volgorde van de balken vernietigt elke reële timingrelatie tussen de regel en de markt, terwijl de onderliggende rendementsverdeling onaangetast blijft. Als de prestaties nauwelijks veranderen, heeft de regel de markt nooit goed begrepen. Hij heeft alleen de fit geanalyseerd.

We passen dit toe op alles wat de eerdere filters overleeft, als een permanente poort in de pipeline. Een aanzienlijk deel van de strategieën die er echt winstgevend uitzagen, stort in elkaar zodra hun timing verandert, omdat het patroon dat een ontwikkelaar dacht te hebben gevonden zich binnen de parameters bevond, en niet binnen de prijsactie. Dat is nauw verwant aan overfitting , waarbij de curve is afgestemd op de geschiedenis in plaats van iets te ontdekken dat generaliseerbaar is. Het detecteert ook gevallen die een eenvoudige edge-checking mist: een strategie kan de drempel voor geen echt voordeel bij ruwe instapmomenten halen en toch falen zodra de exacte volgorde ervan verandert.

De test is niet bepaald glamoureus. Hij beloont een strategie niet voor slimheid, maar alleen voor het overleven van een aanval op zijn eigen uitgangspunt, en hij laat veel mooie equity curves verdwijnen. Precies daarom hoort hij thuis in de pipeline. Hoe meer parameters een systeem heeft, en hoe meer variaties een ontwikkelaar heeft uitgeprobeerd voordat hij "de juiste" vond, hoe groter de kans dat een permutatietest het enige is dat een echt voordeel scheidt van ruis vermomd als discipline. Dat risico wordt nog groter bij meervoudig testen : hoe meer configuraties je bereid bent te herschikken of aan te passen, hoe groter de kans dat er eentje puur toevallig geweldig lijkt, en alleen een placebocontrole dat achteraf aan het licht brengt.

Goedkoop in gebruik, maar genadeloos om te falen. Als een strategie een willekeurige versie van zichzelf niet kan verslaan, is het geen systeem. Het is een verhaal dat iemand vertelde over een grafiek, nadat die grafiek al had plaatsgevonden.