De woorden die strategieverkopers gebruiken, duidelijk uitgelegd — en wat we daadwerkelijk hebben vastgesteld toen we ze stuk voor stuk testten op meer dan 1.000 strategieën en meer dan 1.700 indicatoren. Geen jargon omwille van het jargon. Elke term is gekoppeld aan de bevinding die erachter schuilgaat, voor zover we die hebben.
Hoe een strategie onze audit niet doorstaat
Geen echt voordeel (geen bruto voordeel)
Een strategie heeft een voordeel wanneer de regels ervan beter presteren dan een willekeurige ‘muntopgooien’-instap op dezelfde bars, nog voordat er ook maar een cent aan kosten in mindering wordt gebracht. Geen bruto voordeel betekent dat het signaal nooit iets heeft voorspeld. De instapmomenten waren ruis die zich voordeed als logica. Dit is veruit de meest voorkomende reden waarom we een strategie afwijzen, en het is de bevinding die mensen het minst verwachten. Bijna de helft van alles wat we afwijzen, faalde precies hier, nog voordat slippage, spread of commissie in de berekening werden meegenomen. Het gangbare verhaal is dat kosten strategieën de das omdoen. Meestal krijgen ze die kans niet eens. De meeste afgewezen systemen hebben nooit echt gefunctioneerd. Wanneer je de vermogenscurve terugbrengt tot de vraag of de regel daadwerkelijk de volgende beweging voorspelde, is het antwoord meestal nee.
De strategie leverde winst op omdat de markt omhoog dreef terwijl er toevallig een longpositie was. Dat is bèta, marktblootstelling, vermomd als vaardigheid. Buy-and-hold zou het even goed of beter hebben gedaan, met minder regels om te overtreden. Dit komt voortdurend voor in long-only-systemen die zijn getest over een decennium van stijgende markten. In onze audit is trend-beta de op één na meest voorkomende reden waarom we een strategie afwijzen, na het volledig ontbreken van een voorsprong. De test is duidelijk: vergelijk het systeem met het simpelweg aanhouden van het instrument gedurende dezelfde periode. Als een passieve positie overeenkomt met de curve, hebben de regels niets toegevoegd. Een stijgende markt is gunstig voor vrijwel elke long-strategie. Het is onze taak om de drift eruit te filteren en te kijken wat er, indien van toepassing, overblijft.
Bijna alle winst kwam voort uit een klein aantal uitzonderlijke dagen. Haal de beste handvol dagen weg en de curve vlakt af of wordt negatief. De strategie had geen voordeel over de tijd heen; ze scoorde een paar jackpots en liet het daarna op zijn beloop. We testen dit door de bovenste groep winnende dagen te verwijderen en de simulatie opnieuw uit te voeren. Een echt voordeel blijft bestaan als het zijn beste 10 procent verliest. Een loterijlot doet dat niet. Winst die geconcentreerd is in de staart is onze derde meest voorkomende reden voor afwijzing, en het is de meest verleidelijke, omdat het rendement op het eerste gezicht spectaculair lijkt. Het probleem is dat je die dagen niet kunt plannen, en in de praktijk zul je de grootste meestal missen door een gat, een storing of een slechte uitvoering. Een curve die op vijf groene kaarsen rust, is geen systeem.
De strategie had op papier een echt voordeel, maar vervolgens werden dat voordeel volledig tenietgedaan door de werkelijke spread, commissie en slippage. Bruto positief, netto negatief. Dit is de mislukking waarvan iedereen verwacht dat het de grote is. Dat is het niet. Kostenfataal is pas onze vierde meest voorkomende reden voor afwijzing. Het veelbesproken verhaal dat handelskosten stilletjes goede systemen om zeep helpen, is waar maar wordt overdreven. Bij veel meer strategieën was er om te beginnen al geen voordeel om te verliezen. Wanneer kosten de doodsteek zijn, ligt de oorzaak meestal in het tijdsbestek: hoe korter de bar, hoe belangrijker de spread is. FX-strategieën met een tijdsbestek van minder dan 15 minuten mislukken hier zo stelselmatig dat we geen FX- of CFD-strategieën meer testen op grafieken met een tijdsbestek van minder dan 30 minuten. Een systeem kan de juiste richting voorspellen en toch elke maand verlies lijden door zijn eigen transactiekosten.
Pas maar genoeg parameters aan en elke strategie zal perfect aansluiten op de geschiedenis, inclusief de willekeurige ruis die zich niet zal herhalen. Dat is curve-fitting: een systeem dat is geoptimaliseerd voor een verleden dat al voorbij is. Het ziet er binnen de steekproef onberispelijk uit en stort in bij gegevens die het nog nooit heeft gezien. Het kenmerk is kwetsbaarheid. Verander één instelling en de prachtige curve stort in. Het systeem heeft de geschiedenis uit het hoofd geleerd; het heeft geen regel geleerd. We beschermen ons hiertegen door out-of-sample te testen, op jaren en instrumenten waar de optimizer nooit aan heeft gezeten. Pure overfitting is een kleinere afwijzingscategorie dan je zou denken, omdat de meeste overfit-systemen al bij onze eerdere controles afvallen: ze hebben om te beginnen geen echt voordeel, alleen een goed aangepaste luchtspiegeling. Een strategie met veertien afgestemde inputs heeft geen voordeel gevonden. Het is onthouden.
De backtest maakt gebruik van informatie die op het moment van de transactie nog niet zou hebben bestaan. Een signaal dat wordt berekend bij de slotkoers van de dag, maar waarop wordt gereageerd bij de openingskoers van die dag. Een indicator die zich aanpast en stilletjes eerdere koersbalken herziet. Het resultaat is een curve waarmee nooit verhandeld had kunnen worden. Look-ahead is de gevaarlijkste fout in backtesting omdat deze de meest overtuigende schijnvertoning oplevert. In onze pijplijn krijgt elke strategie die de cijfers doorstaat een tweede controle, waarbij ons sterkste model juist hiernaar op jacht gaat: een uitvoering die al werd ingezien, een waarde die uit de toekomst is uitgelekt. Het is een kleiner deel van onze afgewezen strategieën dan ‘no-edge’, maar wel een duurder deel, omdat dit de systemen zijn die er het beste uitzien tot het moment dat je ermee gaat handelen en ze vervolgens in duigen vallen.
Schud de gegevens door elkaar, willekeurig de handelsvolgorde of versleutel het signaal, en kijk vervolgens of het voordeel standhoudt. Als een strategie op ruis net zo goed presteert als op de echte reeks, waren de resultaten toeval. Dit is de placebocontrole die in de meeste gepubliceerde backtests volledig wordt overgeslagen. Wij voeren deze test op alles uit. Een aanzienlijk deel van de systemen die winstgevend leken, stort in op het moment dat de timing willekeurig wordt gemaakt, omdat het patroon in de fit zat, niet in de markt. Permutatietesten zijn niet glamoureus en ze laten veel mooie grafieken verdwijnen, en dat is precies waarom ze in de pijplijn thuishoren. Als je strategie een door elkaar gehusselde versie van zichzelf niet kan verslaan, heb je een toeval gevonden en dat een systeem genoemd. Goedkoop om uit te voeren, meedogenloos om te mislukken.
Wanneer een bar een prijsbereik bestrijkt, moet de backtester bepalen in welke volgorde de hoogste, laagste, openings- en slotkoers daarbinnen plaatsvonden. Als die volgorde verkeerd is, wordt een trailing stop of intrabar-exit uitgevoerd tegen een prijs die in die volgorde nooit zou zijn geactiveerd. Dit is waar veel trailing-stop-systemen stilletjes vals spelen. De naïeve aanname per bar levert hen uitstapmomenten op die ze in de praktijk nooit hadden kunnen vangen. We hebben het verschil gemeten: uitvoeringen per bar overschatten trailing-stop-strategieën met 42 tot 84 procent ten opzichte van een realistisch intrabar-model. Dat is geen afrondingsfout. Voor een hele klasse van systemen is die overschatting het enige wat ze te bieden hebben. Het voordeel zit verborgen in een aanname over de binnenkant van een kaars, en het houdt geen stand bij contact met echte ticks.
Verdubbel je positie na elk verlies, zodat de volgende winst alles terugverdient, en begin dan opnieuw. Op papier stijgt de rekening alleen maar, omdat je weigert een verlies te boeken. In werkelijkheid zorgt elke reeks verliezen ervoor dat de positie geometrisch groeit, totdat één reeks de rekening leegmaakt. Martingale is de motor achter de meeste grid- en DCA-bots, of ze het woord nu gebruiken of niet. Daarom laten ze bijna perfecte winstpercentages zien en gaan ze vervolgens ten onder in één enkele trend. We hebben 76 grid-, DCA- en martingale-systemen getest op futures, FX en crypto. Ze faalden allemaal, een afwijzingspercentage van 100 procent – de enige categorie in de hele audit die dit resultaat behaalde. De wiskunde is geen afstemmingsprobleem dat je kunt oplossen met een breder grid. Het zit in het ontwerp.
Een grid plaatst een reeks koop- en verkooporders met vaste tussenpozen, met als doel te profiteren van de op-en-neergaande schommelingen van de markt. In een zijwaartse range levert dit gestaag kleine winsten op en lijkt het onstuitbaar. Zodra de markt echter een trend vertoont, stapelen de verliezen aan de onderkant van de ladder zich op en slokt de open drawdown alle winst op die de grid ooit heeft geboekt. We hebben 76 grid- en DCA-systemen getest met echte bied- en laatkoersen in drie activaklassen. Ze faalden allemaal, 100 procent, geen enkele overlevende: het meest opvallende resultaat van de audit. Het falen is niet te wijten aan slechte instellingen. Het is structureel: een grid is short op volatiliteit en long op hoop, en uiteindelijk eist de volatiliteit zijn tol. De nette vermogenscurve is echt, tot de dag dat dat niet meer zo is.
DCA (dollar-cost averaging, in de zin van handelsbots)
Bij beleggen betekent dollar-cost averaging het kopen van een vast bedrag volgens een schema, een verstandige en saaie gewoonte. In de wereld van de tradingbots is de term gekaapt. Hier betekent DCA het gemiddeld naar beneden bijstellen van een positie die al verlies lijdt, door meer te kopen naarmate de koers daalt om je instapkoers te verlagen. Dat is martingale onder een respectabele naam. De bot laat een hoog winstpercentage zien omdat hij vasthoudt en bijkoopt totdat de koers uiteindelijk weer iets stijgt, waardoor hij met winst sluit terwijl het openstaande verlies stilletjes oploopt. We hebben deze naast grid-strategieën getest: 76 systemen, die stuk voor stuk faalden na aftrek van de werkelijke kosten. Het gemiddelde naar beneden bijstellen bij een verliespost werkt zolang de verliespost doorgaat, en de markt is je gemiddelde prijs geen opleving verschuldigd. De strategie die altijd wint, is meestal degene die zijn verliezen verbergt in transacties die hij niet sluit.
Het winstpercentage is het aandeel van de transacties die met winst worden afgesloten. Het is de eerste statistiek die elke verkoper van strategieën noemt en de meest misleidende die ze zouden kunnen kiezen. Een systeem kan 95 procent van de tijd winnen en toch een gegarandeerde verliezer zijn, als de zeldzame verliezen groot genoeg zijn om alle kleine winsten op te slokken. Die kloof is de hele truc achter martingale en grid: door naar beneden te middelen en te weigeren met verlies te sluiten, creëert een bot een schitterend winstpercentage, terwijl één slechte trend de rekening leegmaakt. Een hoog winstpercentage is een ontwerpkeuze, geen voordeel. Wij kijken naar wat de winnaars opleveren ten opzichte van wat de verliezers kosten, over de gehele open drawdown, niet naar het percentage winstgevende transacties. Vraag elke bot die reclame maakt met een winstpercentage van 99 procent hoe zijn ergste enkele verlies eruitziet.
Drawdown is de daling van een piek in het eigen vermogen naar het daaropvolgende dieptepunt; hoe ver je in het rood komt voordat er een nieuwe piek wordt bereikt, gemeten in procenten of valuta. Het is het cijfer dat aangeeft of je het systeem daadwerkelijk had kunnen volhouden zonder failliet te gaan of uit te stappen. De drawdown bij gesloten transacties is eerlijk. De drawdown bij open posities is waar grid- en DCA-bots de waarheid verbergen. Omdat ze weigeren een verliesgevende positie te sluiten, ziet hun geboekte vermogen er stabiel uit, terwijl het werkelijke, niet-gerealiseerde verlies enorm oploopt in posities die nog openstaan in de boekhouding. De rekening kan catastrofaal in de min staan, terwijl het transactielogboek een ononderbroken reeks winsten laat zien. Wij meten de open drawdown, niet de flatterende curve van gesloten posities. Een winstpercentage van bijna 100 procent en een drawdown die de rekening kan ruïneren, zijn dezelfde strategie, beschreven op twee manieren.
Slippage is het verschil tussen de prijs die je verwachtte en de prijs die je daadwerkelijk kreeg. Markten bewegen tussen je beslissing en je uitvoering, en het verschil gaat ten koste van je rekening, transactie na transactie. De meeste backtests gaan ervan uit dat je transactie precies tegen de signaalprijs wordt uitgevoerd, een gunst die geen enkele echte broker je geeft. Modelleer dit eerlijk en systemen met dunne liquiditeit, hoge snelheid of een kort tijdsbestek verliezen een groot deel van het voordeel dat ze toch al niet te missen hadden. Slippage is een van de drie kosten, naast spread en commissie, die ten grondslag liggen aan onze kosten-fatale afkeuringen: de systemen die bruto positief en netto negatief waren. Het treft het hardst wanneer er veelvuldig wordt gehandeld en de omvang groot is in verhouding tot wat er in de portefeuille staat. Een uitvoering waarvan je aannam dat die gratis was, is een getal dat je hebt geleend van een curve die het in de praktijk niet zal terugbetalen.
De spread is het verschil tussen de beste biedprijs en de beste laatprijs. Je koopt tegen de hogere prijs en verkoopt tegen de lagere, en het verschil is een kost die je bij elke roundtrip betaalt, of je nu wint of verliest. Het klinkt triviaal totdat je het duizenden keren doormaakt. We modelleren het op basis van echte tickgegevens met daadwerkelijke bied- en laatkoersen, niet op basis van een vaste aanname die aan slotkoersen is gekoppeld. Hoe kleiner het tijdsbestek, hoe meer het bijt. FX-transacties met een tijdsbestek van minder dan 15 minuten gaan bijna volledig ten onder aan de spread; het voordeel is reëel, maar kleiner dan de kosten om het te benutten. Daarom zijn we gestopt met het testen van FX- en CFD-strategieën op grafieken met een tijdsbestek van minder dan 30 minuten. Een backtest op basis van de middenkoers laat deze kosten stilletjes verdwijnen. Bij echte rekeningen is dat niet mogelijk.
Tickgegevens zijn alle individuele koersen en transacties, met de werkelijke bied- en laatkoersen op elk moment, niet één enkele prijs die één keer per staafje wordt bemonsterd. Het is de grondstof die eerlijke kostenmodellering daadwerkelijk nodig heeft. Als je een backtest uitvoert op nette slotkoersen van kaarsen, zie je nooit de spread die je daadwerkelijk zou betalen of de uitvoering die je daadwerkelijk zou krijgen. Voor FX gebruiken we tickgegevens met echte bied- en laatkoersen, zodat spread en slippage worden gemeten en niet geschat. Voor futures verwerken we 13 jaar aan CME-gegevens. Het verschil is niet louter theoretisch. Een systeem dat afrekent op basis van de middenkoers van een candlestick kan al verliesgevend zijn zodra je de werkelijke kosten van elke instap en uitstap in rekening brengt. Goedkope gegevens leveren goedkope antwoorden op. Als het kostenmodel een gok is, geldt dat ook voor het oordeel over de strategie.
Walk-forward-testen stemt een strategie af op een deel van de geschiedenis, test deze vervolgens op het volgende deel dat het nog nooit heeft gezien, en schuift dat venster in de tijd naar voren. Out-of-sample is juist het hele punt: als een voordeel echt is, werkt het op gegevens waar de optimizer niet naar kon gluren. Als de strategie alleen uitblinkt in de jaren waarop ze is getraind, heeft ze ruis uit het hoofd geleerd. Dit is de toets die een echte regel onderscheidt van een mooi verpakt toeval, en het is de toets die de meeste gepubliceerde backtests overslaan omdat de resultaten er hierdoor slechter uitzien. We testen op jaren en instrumenten die buiten elke afstemming zijn gehouden. Een strategie die het antwoord al vóór de test moet kennen, is geen prognose. Echte voordelen zijn in dat opzicht saai. Ze blijven werken op gegevens waarop ze niet zijn getraind.
Futurescontracten vervallen, dus om over meerdere jaren heen te backtesten, voeg je het aflopende contract samen met het volgende tot één doorlopende reeks. Doe je dit onzorgvuldig, dan introduceer je bij elke roll-over spookachtige hiaten of winsten die geen enkele handelaar ooit heeft gerealiseerd. Achteraf aanpassen, waarbij je de oude gegevens verschuift zodat de overgang vloeiend is, corrigeert de grafiek, maar kan oudere prijzen negatief maken of het rendement in procenten vertekenen als je slordig te werk gaat. Het is een stille gegevensvalkuil: het lijkt alsof de strategie geld heeft opgeleverd, terwijl dat in werkelijkheid slechts een artefact was van de manier waarop de reeks aan elkaar is geplakt. Wij verwerken 13 jaar aan CME-futures en gaan bewust zorgvuldig om met de doorrol, omdat een slechte overgang uit het niets een voordeel kan creëren. Het contract waarmee je een backtest uitvoert, moet overeenkomen met het contract dat je daadwerkelijk had kunnen verhandelen.
De Sharpe-ratio is het cijfer waar handelaren naar grijpen om indruk te maken met hun nauwkeurigheid — rendement per eenheid risico, in één overzichtelijk getal. Het is ook een van de cijfers in de handel die het gemakkelijkst te verfraaien zijn. De Sharpe-ratio meet het rendement per eenheid risico: neem het gemiddelde rendement van een strategie, trek daar de risicovrije rente van af en deel dit door de volatiliteit van die rendementen. Een strategie die 20% per jaar oplevert met wilde schommelingen kan slechter scoren dan een strategie die soepel 12% oplevert. Deze maatstaf is specifiek bedoeld om die volatiliteit te waarderen.
Meervoudige toetsing is de reden waarom een goede backtest het minst verrassende resultaat is in de audit. Test genoeg strategieën en sommige zullen puur door toeval winstgevend lijken; de vraag is nooit of je er een hebt gevonden, maar of de lat die je hebt gehaald hoog genoeg was om ertoe te doen. Test één strategie en een winstpercentage dat net iets hoger ligt dan bij het opgooien van een munt lijkt al een voordeel. Test duizend strategieën en, puur door toeval, zullen er verschillende diezelfde lat ruimschoots halen. Geen enkele heeft iets echts gevonden. Iemand moest gewoon de loterij winnen. Meervoudige toetsing (ook wel ‘data-snooping’ genoemd) is wat er gebeurt wanneer dat aantal pogingen buiten de significantieberekening wordt gelaten. De gebruikelijke grens voor slagen of falen bij een backtest, een t-statistiek rond de 2, is bedoeld om één idee tegelijk te testen. Als je duizend ideeën langs diezelfde grens haalt, zijn er meer valse positieven dan echte signalen, nog voordat iemand überhaupt is begonnen met kijken.
Een repainting-indicator toont je een andere geschiedenis dan die welke live werd weergegeven. Het signaal waarop je hebt gehandeld, is meestal al veranderd tegen de tijd dat je erop terugkijkt. Een repainting-indicator toont je vandaag het ene op de grafiek en morgen iets anders op dezelfde balk, zonder dat er tussendoor iets aan de code is veranderd. De pijl die bij de slotkoers van dinsdag een perfect dieptepunt markeerde, kan tegen donderdag verschuiven of verdwijnen, omdat de berekening erachter nog niet was voltooid toen deze voor het eerst verscheen. Wat je in realtime zag en wat de geschiedenis nu laat zien, zijn twee verschillende registraties van dezelfde kaars.
De winstfactor is de brutowinst gedeeld door het brutoverlies, en het is een van de gemakkelijkste backtestcijfers om op te blazen zonder ook maar één handelsregel te wijzigen. De winstfactor is de brutowinst gedeeld door het brutoverlies. Tel alle winnende transacties bij elkaar op, tel alle verliesgevende transacties bij elkaar op, en deel het eerste door het tweede. Cross 1.0 en de strategie leverden meer op dan ze verloren, althans op papier. Het is één getal, eenvoudig te berekenen, gemakkelijk op een verkooppagina te plaatsen.
Dit zijn de redenen waarom strategieën op The No List terechtkomen — de volledige evaluatie, elke strategie met naam en toenaam, met het oordeel en de exacte reden waarom ze is goedgekeurd of afgewezen.
Voordat je gaat: pak FoxAlgo Data Studio gratis — echte tick-marktdata, automatisch geaggregeerd naar elk tijdsbestek, exportklaar voor NinjaTrader, MT4/MT5 en CSV.