Overfitting / curvefitting

Door voldoende parameters af te stemmen, zal elke strategie perfect aansluiten op de geschiedenis, inclusief de willekeurige ruis die zich niet zal herhalen. Dat is curvefitting : een systeem dat is geoptimaliseerd voor een verleden dat al voorbij is, vermomd als een ontdekking. Het ziet er onberispelijk uit binnen de steekproef en stort in elkaar zodra het data tegenkomt die het nooit heeft gezien.

Het mechanisme is simpel: wiskunde die tegen je werkt. Geef een optimizer genoeg vrije parameters en hij vindt altijd wel een combinatie die de ruis in je ene steekproef verklaart, want ruis onderscheidt zich van een echt patroon alleen door toeval. Voeg hier een kleine aanpassing aan de stop-loss toe, daar een aanpassing aan het terugkijkvenster, een filter dat is afgestemd om drie goede transacties uit één jaar te selecteren, en de vermogenscurve wordt meteen recht. Het heeft niet ontdekt hoe markten zich gedragen. Het heeft ontdekt hoe dat ene stukje geschiedenis zich toevallig één keer heeft bewogen, en dat zal niet meer gebeuren.

Het kenmerk is kwetsbaarheid. Verander één instelling – het voortschrijdend gemiddelde van 20 naar 22, de stop-loss van 2% naar 2,2% – en de mooie curve stort in. Een strategie met een echt, structureel voordeel verdraagt kleine veranderingen omdat dat voordeel niet in één enkel getal besloten ligt. Een strategie die de curve volgt, is gebaseerd op memoriseren, niet op leren, en een gememoriseerd antwoord is nutteloos bij een vraag die nog niet eerder is voorgekomen.

We beschermen ons hiertegen door te testen met data die niet in de steekproef thuishoren: jaren en instrumenten die de optimizer nooit heeft gebruikt, specifiek achtergehouden zodat het systeem niet kan valsspelen om een goede score te behalen. Dit is dezelfde logica als bij walk-forward testen. Het betekent ook dat een strategie die honderden parametercombinaties heeft doorlopen voordat we hem te zien kregen, aan hogere eisen moet voldoen dan een strategie die dat niet heeft gedaan. Hoe meer configuraties er worden uitgeprobeerd, hoe groter de kans dat er één puur toevallig in de ruis past – het probleem van meervoudige testen dat inherent is aan elke optimizer-run.

Pure overfitting blijkt een kleinere afvalbak te zijn dan de meeste mensen verwachten. De meeste curve-fitting-systemen worden nooit van die specifieke misdaad beschuldigd, omdat ze eerst een eerdere controle doorstaan. Pas dezelfde regels toe op een placebo-test , versleutelde of gehusselde data, en de "rand" blijft vaak net zo goed intact als bij de echte data — bewijs dat er nooit een signaal was om te overfitten, maar slechts een goed passende illusie die op niets leek te rusten.

Een strategie met veertien afgestemde inputs heeft geen voordeel opgeleverd. Het onthoudt één onherhaalbaar pad door het verleden, tot in detail, en het verleden herhaalt zich niet volgens een vast schema.