Vooruitlopen / buiten de steekproef

Walk-forward testen stemt een strategie af op een deel van de geschiedenis, test deze vervolgens op het volgende deel dat nog niet eerder is gebruikt, en schuift dat venster door de tijd heen. Train een model op een bepaald stuk data. Test het model blind op het direct daaropvolgende stuk. Voeg dat stuk toe aan de trainingsset en test het vervolgens blind op het volgende stuk. Herhaal dit totdat het venster het heden bereikt.

Het draait allemaal om out-of-sample data. Als een voordeel echt is, werkt het op data die de optimizer niet kon inzien tijdens het kiezen van de parameters. Als het voordeel alleen werkt in de jaren waarop het is getraind, heeft het ruis onthouden en dat als een regel bestempeld. Dit is de controle die een echte regel onderscheidt van een mooi vormgegeven toeval, en het is de controle die de meeste gepubliceerde backtests overslaan omdat het de resultaten er slechter uit laat zien.

Zonder walk-forward hoeft een strategie slechts aan één norm te voldoen: de historische curve waarop deze is afgestemd. Voeg voldoende parameters toe, een stop-loss hier, een filter daar, een magische terugkijkperiode, en vrijwel elke equity curve kan stijgen. Geen van die afstemmingen hoeft een jaar te doorstaan waarin de optimizer niet actief is geweest. Walk-forward dwingt dat af.

We testen op jaren en instrumenten die niet zijn afgesteld, waarbij we die afgeschermde periode vergelijken met 13 jaar aan CME-futures en tick-level FX-data met echte bied- en vraagprijzen, niet met de periode waarop de strategie is gekalibreerd. Een strategie die het antwoord moet zien voordat de test kan worden uitgevoerd, is geen voorspelling, maar een opsomming.

Een systeem dat perfect presteert bij de in-sample fit, maar faalt bij de walk-forward test, is meestal een verkapte vorm van overfitting . Deze fit is gevonden door zoveel variaties uit te proberen dat er ongetwijfeld een variant tussen zat die overeenkwam met de ruis. Dat risico neemt toe met elke extra configuratie die wordt geprobeerd, en dat is precies het probleem waar meervoudige toetsing voor corrigeert. Een placebo-test benadert een verwante vraag vanuit een andere invalshoek: of de rand zou blijven bestaan als de invoerwaarden willekeurig zouden worden herschikt. De walk-forward test onderzoekt daarentegen of de rand de tand des tijds doorstaat.

Echte randen zijn op die manier saai. Ze blijven werken met data waar niemand ze op heeft afgestemd, zonder dat er een nieuwe afstemmingsronde nodig is om ze werkend te houden. Een regel die constant opnieuw moet worden afgestemd om te blijven werken, was nooit een regel. Het was een curve die werd nagejaagd.