Methodologie

Hoe je alle getallen op deze site kunt lezen.

Measured odds. No trade calls. what this means →

De kalibratiedekking is voor elke door ons gepubliceerde activaklasse — futures, valutamarkten, aandelen en cryptovaluta — hetzelfde proces: de cijfers worden getoetst aan een apart gehouden dataset zodra de gegevens voor die klasse online komen. Zie de scorekaart waarvoor momenteel metingen worden verricht.

koers / basis / delta

rate is de gemeten waarschijnlijkheid van een uitkomst onder een bepaalde voorwaarde (bijvoorbeeld: "de koers ligt om 09.30 uur boven het hoogste punt van gisteren"). basis is de onvoorwaardelijke kans op dezelfde uitkomst, dezelfde markt, zonder voorwaarden. delta is het percentage − basis: in hoeverre de voorwaarde de kansen daadwerkelijk beïnvloedt. Een percentage van 75% naast een basis van 74% levert geen voordeel op — kijk naar de delta, niet alleen naar het percentage.

n en betrouwbaarheidsinterval

n is de steekproefomvang waarop het percentage wordt gemeten. Elk percentage wordt geleverd met een 95%-Wilson-scorebetrouwbaarheidsinterval — een bereik waarin de werkelijke waarschijnlijkheid zich bij herhaalde steekproeven in 95% van de gevallen zou bevinden. Een kleine n betekent een breed interval; beschouw die cijfers als voorlopig, zelfs als de puntschatting opvallend lijkt.

fit versus held-out

De berekeningen vinden plaats in twee vensters: een fit venster (waar het patroon is gevonden) en een held-out venster (gegevens die tijdens het ontdekkingsproces nooit in beeld zijn gekomen). Deze site publiceert, waar mogelijk, de ‘held-out’-cijfers — die zijn lager dan de ‘fit’-cijfers, en dat is het werkelijke cijfer. Een patroon dat alleen in de ‘fit’ voorkomt, wordt ‘overfitting’ genoemd.

een niveau raken is niet hetzelfde als winst maken

Een 'touch probability' geeft aan of de koers op een bepaald moment binnen het venster een bepaald niveau heeft overschreden — niet of een transactie op dat punt winst zou hebben opgeleverd. De koers kan een koersdoel bereiken een uur nadat een stop-loss al zou zijn geactiveerd. Dit zijn beschrijvende statistieken over koersverloop, geen handelssignalen.

het sceptische proces

Bevindingen met betrekking tot de kansen Op elke pagina staat een keurmerk waarop staat aangegeven hoe deze is gecontroleerd:

Ideeën die deze procedure niet doorstaan, komen terecht op de graveyard pagina, met de specifieke reden waarom ze werden uitgesloten — meestal een ‘lookahead’-vertekening (het signaal maakte stiekem gebruik van toekomstige informatie) of een stratificatievertekening (een schijnbaar voordeel dat verdwijnt zodra je corrigeert voor de eigen positie van een markt).

crypto: een andere klok

Cryptovaluta (BTC, ETH, SOL, AVAX, LINK, DOGE) wordt gemeten op basis van de spotprijzen van Binance, vanaf 2019, met als referentietijdstip 00:00 UTC in plaats van de opening van de Amerikaanse markt — er is geen beursbel om als referentiepunt te gebruiken, aangezien er 24 uur per dag, 7 dagen per week wordt gehandeld. Cijfers van vóór 2023 zijn gebruikt om de curve te laten aansluiten; vanaf 2023 is het de apart gehouden, geverifieerde periode. In het weekend is het rustiger — de kansen veranderen, dus tonen we aparte cijfers voor het weekend.

tijdperken en valstrikken waar we op letten

• Lookahead — door gebruik te maken van informatie die op het moment van de beslissing nog niet bekend was. Dit is de meest voorkomende manier waarop een backtest een verkeerd beeld geeft. Een naïeve placebocontrole kan dit niet op betrouwbare wijze opsporen.
• Compositioneel artefact — Als je twee condities combineert en deze vergelijkt met elke conditie afzonderlijk, zonder de steekproefgewichten op elkaar af te stemmen, ontstaat er een vals ‘combinatie-effect’.
• Selectiebias — het meten van een frequentie uitsluitend op een gefilterde deelverzameling (bijvoorbeeld „wanneer het signaal wordt geactiveerd”) zonder te vermelden op hoeveel procent van de dagen het signaal wordt geactiveerd.