Meerdere tests / data-snooping

Test één strategie en een winstpercentage dat iets hoger ligt dan bij een muntje opgooien lijkt een voordeel. Test duizend strategieën en, puur door toeval, zullen er een aantal ruim boven diezelfde grens uitkomen. Geen van hen vond iets wezenlijks. Iemand moest gewoon de loterij winnen. Meervoudig testen (ook wel data-snooping genoemd) is wat er gebeurt wanneer dat aantal pogingen niet wordt meegenomen in de berekening van de significantie. De gebruikelijke grens voor slagen/falen bij een backtest, een t-statistiek rond de 2, is ontworpen om één idee tegelijk te testen. Voer duizend ideeën door diezelfde grens en de valse positieven zijn in de meerderheid ten opzichte van de echte signalen, nog voordat iemand goed en wel is begonnen met kijken.

De oplossing is niet een andere test. De lat ligt hoger. Hoe meer strategieën strijden om de titel van beste strategie, hoe verder een resultaat in de marge moet liggen voordat het iets meer betekent dan puur geluk bij het vinden van een speld in een hooiberg. Een backtest die decennia geleden indruk zou hebben gemaakt op een individuele onderzoeker, is niets meer dan onopvallende ruis zodra het de beste is van duizend opeenvolgende pogingen.

Dit is de reden waarom onze afwijzingscijfers zo hoog zijn. We hebben meer dan 1000 strategieën en meer dan 1700 indicatoren getest, in totaal meer dan 2700 scripts, en een mooie equity curve is precies wat die schaal voorspelt, zelfs als ze allemaal waardeloos zouden zijn. Een enkele gunstige backtest bewijst op zichzelf niets; er is geen echt voordeel te behalen door hoe vaak het onderliggende signaal ruis blijkt te zijn vermomd als een strategie. Overfitting is een strategie die zich aanpast aan zijn eigen ruis; meervoudig testen is dat we ons aanpassen aan de ruis van duizend strategieën tegelijk. Dezelfde valkuil, andere schaal.

We beschouwen elke overlevende als schuldig totdat deze een drempel overschrijdt die is afgestemd op de gehele zoektocht, niet op één enkele backtest. Een deel daarvan is het uitvoeren van een placebotest met versleutelde versies van dezelfde data: als een strategie er nog steeds goed uitziet te midden van ruis, dan ging het oorspronkelijke resultaat nooit over de markt. Een ander deel is weigeren om na de eerste veelbelovende run te stoppen en het als afgerond te beschouwen.

Het werkelijke aantal aan het einde van dat filter is klein. 78,4% van de strategieën die we hebben getest, werd direct afgewezen, 14,8% vertoonde een voorwaardelijk voordeel onder specifieke omstandigheden, en 0,7% (zeven strategieën) doorstond alle tests en werd geschikt bevonden voor implementatie. Die verhouding is geen pessimisme. Het is wat er gebeurt als je corrigeert voor het aantal kansen dat ruis je heeft kunnen misleiden.