Słowa używane przez sprzedawców strategii, wyjaśnione w prosty sposób — oraz to, co faktycznie odkryliśmy, testując każdy z nich na ponad 1 000 strategii i ponad 1 700 wskaźnikach. Żadnego żargonu dla samego żargonu. Każdy termin zawiera link do wyników badań, jeśli takie istnieją.
Jak strategia nie przechodzi naszego audytu
Brak rzeczywistej przewagi (brak przewagi brutto)
Strategia ma przewagę, gdy jej zasady przewyższają losowe wejście oparte na rzucie monetą na tych samych słupkach, zanim odliczony zostanie choćby jeden cent kosztów. Brak przewagi brutto oznacza, że sygnał nigdy niczego nie przewidywał. Wejścia były szumem przebranym za logikę. Jest to najczęstszy powód, dla którego odrzucamy strategię, i jest to wynik, którego ludzie najmniej się spodziewają. Prawie połowa wszystkich odrzuconych przez nas strategii zawiodła właśnie w tym punkcie, zanim w obliczeniach uwzględniono poślizg, spread czy prowizję. Powszechnie uważa się, że to koszty niszczą strategie. W większości przypadków jednak nie mają one na to szansy. Większość odrzuconych systemów nigdy nie funkcjonowała. Gdy sprowadzimy krzywą kapitału do tego, czy zasada faktycznie przewidywała następny ruch, odpowiedź zazwyczaj brzmi „nie”.
Strategia przyniosła zysk, ponieważ rynek poszedł w górę, a system akurat miał pozycję długą. To właśnie beta, ekspozycja rynkowa, przebrana za umiejętność. Strategia „kup i trzymaj” osiągnęłaby równie dobre lub lepsze wyniki, przy mniejszej liczbie zasad, które można złamać. Zjawisko to pojawia się nieustannie w systemach opartych wyłącznie na pozycjach długich, testowanych wstecz w ciągu dekady hossy. W naszym audycie trend-beta jest drugim najczęstszym powodem odrzucenia strategii, ustępując jedynie całkowitemu brakowi przewagi. Test jest bezkompromisowy: porównaj system z prostym utrzymywaniem instrumentu w tym samym przedziale czasowym. Jeśli pozycja pasywna pokrywa się z krzywą, zasady nic nie wniosły. Rosnący rynek sprzyja niemal każdej strategii długoterminowej. Naszym zadaniem jest wyeliminowanie tego efektu i sprawdzenie, co – jeśli w ogóle – pozostaje.
Prawie cały zysk pochodził z niewielkiej liczby dni o wynikach odbiegających od normy. Jeśli wyeliminujemy garść najlepszych dni, krzywa spłaszcza się lub staje się ujemna. Strategia nie miała przewagi w dłuższej perspektywie czasowej; trafiła kilka „jackpotów” i po prostu płynęła z prądem. Sprawdzamy to, usuwając górną część dni zyskownych i ponownie uruchamiając test. Prawdziwa przewaga przetrwa utratę najlepszych 10 procent. Los na loterii – nie. Zysk skoncentrowany w ogonie rozkładu jest naszym trzecim najczęstszym powodem odrzucenia strategii i jest najbardziej kuszący, ponieważ nominalna stopa zwrotu wygląda spektakularnie. Problem polega na tym, że nie da się zaplanować tych dni, a w praktyce zazwyczaj przegapisz te największe z powodu luki, przerwy w działaniu lub nieudanego zlecenia. Krzywa oparta na pięciu zielonych świecach nie jest systemem.
Strategia miała prawdziwą przewagę na papierze, ale rzeczywisty spread, prowizja i poślizg cenowy całkowicie ją zniwelowały. Wynik brutto dodatni, wynik netto ujemny. To porażka, której wszyscy oczekują jako tej największej. Ale tak nie jest. „Kosztowo fatalna” to dopiero czwarty najczęstszy powód odrzucenia. Głośniejsza teza, że koszty transakcyjne po cichu niszczą dobre systemy, jest prawdziwa, ale zbyt wyolbrzymiona. Znacznie więcej strategii od początku nie miało żadnej przewagi, którą mogłyby stracić. Gdy zabójcą są koszty, przyczyną jest zazwyczaj horyzont czasowy: im krótszy słupek, tym większe znaczenie ma spread. Strategie walutowe z interwałem poniżej 15 minut zawodzą tu tak niezawodnie, że nie testujemy już strategii walutowych ani CFD na wykresach poniżej 30 minut. System może trafnie przewidywać kierunek rynku, a mimo to co miesiąc ponosić straty z powodu własnych kosztów transakcyjnych.
Wystarczy odpowiednio dostroić parametry, a każda strategia idealnie dopasuje się do historii, łącznie z przypadkowymi zakłóceniami, które się nie powtórzą. To właśnie dopasowanie do krzywej: system zoptymalizowany pod kątem przeszłości, która już minęła. Wygląda nieskazitelnie na danych testowych, ale zawodzi na danych, których nigdy nie widział. Znakiem rozpoznawczym jest kruchość. Wystarczy lekko zmienić jedno ustawienie, a piękna krzywa się załamuje. System zapamiętał historię; nie nauczył się żadnej reguły. Chronimy się przed tym, testując dane poza próbą – na latach i instrumentach, których optymalizator nigdy nie uwzględnił. Czysta nadmierna dopasowanie to mniejsza grupa odrzuconych rozwiązań, niż mogłoby się wydawać, ponieważ większość nadmiernie dopasowanych systemów najpierw nie przechodzi naszych wcześniejszych kontroli, nie mając od początku żadnej prawdziwej przewagi, a jedynie dobrze dopasowaną iluzję. Strategia z czternastoma dostrojonymi zmiennymi wejściowymi nie znalazła przewagi. Ona po prostu zapamiętuje.
Test historyczny wykorzystuje informacje, które w momencie zawarcia transakcji jeszcze nie istniały. Sygnał obliczony na zamknięciu dnia, ale zrealizowany na otwarciu. Wskaźnik z repaintingiem, który po cichu koryguje przeszłe słupki. W rezultacie powstaje krzywa, na podstawie której nigdy nie można by było przeprowadzić transakcji. Błąd wyprzedzania przyszłości jest najniebezpieczniejszym błędem w testach historycznych, ponieważ generuje najbardziej przekonujące fałszywe sygnały. W naszym procesie każda strategia, która przetrwa analizę liczbową, przechodzi drugi etap, podczas którego nasz najsilniejszy model w sposób kontradyktoryjny poszukuje właśnie tego: realizacji zlecenia, która pojawiła się przedwcześnie, wartości, która wyciekła z przyszłości. Stanowi to mniejszą część odrzuconych strategii niż w przypadku braku przewagi, ale jest to część bardziej kosztowna, ponieważ są to systemy, które wyglądają najlepiej aż do momentu rozpoczęcia handlu, po czym się rozpadają.
Przetasuj dane, losowo zmień kolejność transakcji lub zakoduj sygnał, a następnie sprawdź, czy przewaga się utrzyma. Jeśli strategia radzi sobie równie dobrze na danych z zakłóceniami, jak na prawdziwych szeregach, jej wyniki były dziełem przypadku. Jest to kontrola placebo, którą większość publikowanych testów historycznych całkowicie pomija. My przeprowadzamy go na wszystkim. Znaczna część systemów, które wydawały się zyskowne, załamuje się w momencie losowego wyboru momentu wejścia, ponieważ wzorzec istniał w dopasowaniu, a nie na rynku. Test permutacyjny nie jest efektowny i sprawia, że znika wiele ładnych krzywych, co jest właśnie powodem, dla którego powinien znaleźć się w procesie analizy. Jeśli twoja strategia nie potrafi pokonać swojej własnej, przetasowanej wersji, to znalazłeś zbieg okoliczności i nazwałeś go systemem. Tani w prowadzeniu, brutalny w porażce.
Założenie dotyczące realizacji zleceń w obrębie słupka / słupek po słupku
Gdy słupek obejmuje zakres cen, narzędzie do testów historycznych musi ustalić kolejność, w jakiej wystąpiły w nim maksimum, minimum, cena otwarcia i zamknięcia. Błędna kolejność powoduje, że zlecenie typu trailing stop lub wyjście w ramach jednego słupka zostaje zrealizowane po cenie, która nigdy nie zostałaby wywołana w tej sekwencji. Właśnie w tym miejscu wiele systemów opartych na trailing stopie po cichu oszukuje. Naiwne założenie „bar-by-bar” zapewnia im wyjścia, których nie mogliby uchwycić w czasie rzeczywistym. Zmierzyliśmy tę rozbieżność: realizacje typu „bar-by-bar” zawyżają wyniki strategii z trailing stop o 42 do 84 procent w porównaniu z realistycznym modelem intrabarowym. To nie jest błąd zaokrąglenia. Dla całej klasy systemów to zawyżenie stanowi całość sprzedawanego produktu. Przewaga wynika z założenia dotyczącego wnętrza świecy i nie wytrzymuje kontaktu z rzeczywistymi tikami.
Terminy związane z handlem i testowaniem historycznym
Martingale
Podwajaj swoją pozycję po każdej stracie, aby następna wygrana odzyskała wszystko, a następnie zacznij od nowa. Na papierze stan konta zawsze rośnie, ponieważ odmawiasz zaksięgowania straty. W rzeczywistości każda seria strat powoduje geometryczny wzrost pozycji, aż do momentu, gdy jedna seria całkowicie opróżnia konto. Martingale jest mechanizmem leżącym u podstaw większości botów typu grid i DCA, niezależnie od tego, czy używają one tego terminu, czy nie. To właśnie dlatego wykazują one niemal idealne wskaźniki wygranych, a następnie upadają w obliczu pojedynczego trendu. Przetestowaliśmy 76 systemów typu grid, DCA i martingale na rynkach kontraktów terminowych, walutowych i kryptowalutowych. Każdy z nich zawiódł – wskaźnik odrzucenia wyniósł 100 procent; była to jedyna kategoria w całym audycie, która uzyskała taki wynik. Problem nie leży w matematyce, której można by zaradzić poprzez poszerzenie siatki. Chodzi o sam projekt.
System typu grid umieszcza sekwencję zleceń kupna i sprzedaży w stałych odstępach czasu, mając na celu wykorzystanie wahań rynku. W trendzie bocznym generuje on stałe, niewielkie zyski i wydaje się nie do powstrzymania. Następnie rynek wchodzi w trend, strona stratna sekwencji zleceń narasta, a otwarta strata pochłania każdy zysk, jaki system typu grid kiedykolwiek odnotował. Przetestowaliśmy 76 systemów siatkowych i DCA na rzeczywistych kursach kupna/sprzedaży w trzech klasach aktywów. Wszystkie zawiodły – 100 procent, żadnych ocalałych – był to najbardziej wyraźny wynik w całym audycie. Przyczyną porażki nie są złe ustawienia. Jest to problem strukturalny: siatka to krótka pozycja na zmienność i długa pozycja na nadzieję, a ostatecznie to zmienność wymierza karę. Zgrabna krzywa kapitału jest prawdziwa aż do dnia, w którym przestaje nią być.
DCA (uśrednianie kosztów dolara, w rozumieniu botów handlowych)
W inwestowaniu uśrednianie kosztów oznacza kupowanie stałej kwoty zgodnie z harmonogramem – to rozsądny, choć nudny nawyk. W świecie botów handlowych termin ten został jednak przejęty. Tutaj DCA oznacza uśrednianie w dół pozycji, która już przynosi straty, poprzez dokupowanie akcji w miarę spadku ceny, aby obniżyć cenę wejścia. To po prostu martyngał pod szacowną nazwą. Bot wykazuje wysoki wskaźnik wygranych, ponieważ utrzymuje pozycję i dokupuje, aż cena w końcu odskoczy, zamykając się na plusie, podczas gdy otwarta strata po cichu rośnie w tle. Przetestowaliśmy je obok strategii typu grid: 76 systemów, z których każdy zawiódł po uwzględnieniu rzeczywistych kosztów. Uśrednianie strat działa tak długo, jak długo pozycja przynosi straty, a rynek nie jest zobowiązany do odbicia w kierunku średniej ceny. Strategia, która zawsze wygrywa, to zazwyczaj ta, która ukrywa swoje straty w transakcjach, których nie zamyka.
Wskaźnik wygranych to odsetek transakcji, które zamykają się na plusie. Jest to pierwsza statystyka, którą podaje każdy sprzedawca strategii, a jednocześnie najbardziej myląca z możliwych. System może wygrywać w 95 procentach przypadków i nadal być gwarantowaną porażką, jeśli rzadkie straty są na tyle duże, że pochłaniają wszystkie małe zyski. Ta rozbieżność stanowi sedno sztuczki z martyngalem i strategią gridową: poprzez uśrednianie w dół i odmowę zamykania pozycji na minusie bot generuje wspaniały wskaźnik wygranych, podczas gdy jeden zły trend ozeruje konto. Wysoki wskaźnik wygranych to wybór projektowy, a nie przewaga. Interesuje nas stosunek zysków z transakcji zakończonych na plusie do strat z transakcji zakończonych na minusie w całym okresie otwartej spadkowej, a nie procent transakcji zakończonych na plusie. Zapytaj dowolnego bota reklamującego 99-procentowy wskaźnik wygranych, jak wygląda jego najgorsza pojedyncza strata.
Spadek wartości to spadek od szczytu kapitału własnego do następnego dołka, czyli jak głęboko wpadniesz na minus przed osiągnięciem nowego maksimum, mierzony w procentach lub walucie. To liczba, która pokazuje, czy faktycznie mógłbyś utrzymać system bez bankructwa lub wycofania się. Spadek wartości przy zamkniętych transakcjach jest rzetelny. Spadek wartości przy otwartych pozycjach to miejsce, w którym boty typu grid i DCA ukrywają prawdziwy obraz sytuacji. Ponieważ odmawiają zamknięcia stratnej pozycji, ich zaksięgowany kapitał wygląda na stabilny, podczas gdy rzeczywista, niezrealizowana strata gwałtownie rośnie w pozycjach nadal otwartych w księgach. Konto może odnotowywać katastrofalny spadek, podczas gdy dziennik transakcji pokazuje nieprzerwaną passę wygranych. Mierzymy spadek wartości otwartych pozycji, a nie pochlebną krzywą zamkniętych transakcji. Wskaźnik wygranych bliski 100 procent i spadek wartości, który może doprowadzić do wyczerpania środków na koncie, to ta sama strategia opisana na dwa sposoby.
Poślizg to różnica między ceną, której się spodziewałeś, a ceną, którą faktycznie uzyskałeś. Rynki zmieniają się w okresie między podjęciem decyzji a zrealizowaniem zlecenia, a różnica ta obciąża twoje konto, transakcja po transakcji. Większość testów historycznych zakłada, że zlecenie jest realizowane dokładnie po cenie sygnału – to przywilej, którego żaden prawdziwy broker ci nie zapewni. Jeśli modeluje się to uczciwie, systemy typu „thin”, „fast” lub oparte na krótkich przedziałach czasowych tracą znaczną część przewagi, której nigdy nie miały w zapasie. Poślizg cenowy jest jednym z trzech kosztów – obok spreadu i prowizji – leżących u podstaw naszych odrzuconych systemów, których koszty okazały się fatalne: systemów, które były dodatnie w ujęciu brutto, ale ujemne w ujęciu netto. Wpływa to najsilniej tam, gdzie transakcje są częste, a ich wielkość jest duża w stosunku do środków dostępnych na koncie. Realizacja, którą uznałeś za bezpłatną, to kwota, którą pożyczyłeś z krzywej, która nie zwróci jej w rzeczywistych warunkach.
Spread to różnica między najlepszą ceną kupna a najlepszą ceną sprzedaży. Kupujesz po wyższej cenie, a sprzedajesz po niższej, a różnica ta stanowi koszt, który ponosisz przy każdej transakcji, niezależnie od tego, czy zakończy się ona zyskiem, czy stratą. Brzmi to banalnie, dopóki nie przekroczysz tej różnicy tysiące razy. Modelujemy to na podstawie rzeczywistych danych o zmianach kursów z rzeczywistymi notowaniami kupna/sprzedaży, a nie na podstawie płaskiego założenia opartego na cenach zamknięcia. Im krótszy przedział czasowy, tym bardziej to odczuwalne. Transakcje walutowe trwające krócej niż 15 minut praktycznie w całości pochłania spready – przewaga jest realna, ale mniejsza niż koszt jej wykorzystania, dlatego zaprzestaliśmy testowania strategii walutowych i CFD na wykresach poniżej 30 minut. Test historyczny przeprowadzony na cenie średniej dyskretnie eliminuje ten koszt. Na prawdziwych kontach nie jest to możliwe.
Dane tickowe to każda pojedyncza notacja i transakcja, z rzeczywistą ceną kupna i sprzedaży w każdym momencie, a nie pojedyncza cena pobierana raz na jeden słupek. To surowiec, którego faktycznie potrzebuje rzetelne modelowanie kosztów. Przeprowadzając testy historyczne na zaokrąglonych zamknięciach świec, nigdy nie zobaczysz spreadu, który faktycznie zapłaciłbyś, ani realizacji zlecenia, którą faktycznie uzyskałbyś. W przypadku rynku walutowego (FX) wykorzystujemy dane tickowe z rzeczywistymi cenami kupna i sprzedaży, dzięki czemu spread i poślizg są mierzone, a nie szacowane. W przypadku kontraktów terminowych analizujemy dane z CME z ostatnich 13 lat. Różnica nie ma charakteru czysto teoretycznego. System, który rozlicza się na podstawie średniej ceny świecy, może znaleźć się na minusie w momencie, gdy uwzględnisz rzeczywisty koszt każdego wejścia i wyjścia. Tanie dane dają tanie odpowiedzi. Jeśli model kosztów opiera się na domysłach, to samo dotyczy oceny strategii.
Testowanie metodą walk-forward dostosowuje strategię na jednym odcinku historii, a następnie testuje ją na kolejnym odcinku, którego strategia nigdy wcześniej nie widziała, i przesuwa to okno w przyszłość. Testowanie poza próbą jest sednem sprawy: jeśli przewaga jest prawdziwa, działa ona na danych, do których optymalizator nie miał wglądu. Jeśli strategia sprawdza się tylko w latach, do których została dopasowana, oznacza to, że zapamiętała szum. Jest to test odróżniający prawdziwą regułę od ładnie opakowanego zbiegu okoliczności i jest to test, który pomija większość publikowanych testów historycznych, ponieważ sprawia, że wyniki wyglądają gorzej. Testujemy na latach i instrumentach finansowych wyłączonych z jakiegokolwiek dostrajania. Strategia, która musi znać odpowiedź przed testem, nie jest prognozowaniem. Prawdziwe przewagi są pod tym względem nudne. Działają one na danych, do których nikt ich nie dopasowywał.
Kontrakty terminowe wygasają, więc aby przeprowadzić test historyczny obejmujący wiele lat, łączy się wygasający kontrakt z następnym, tworząc jedną ciągłą serię. Jeśli zrobi się to niedbale, wprowadza się fikcyjne luki lub zyski przy każdym rolowaniu, których żaden inwestor nigdy nie osiągnął. Korekta wsteczna, polegająca na przesunięciu starych danych tak, aby połączenie było płynne, poprawia wygląd wykresu, ale może spowodować, że starsze ceny staną się ujemne lub zniekształcić procentowe stopy zwrotu, jeśli podejdzie się do tego niedbale. Jest to cicha pułapka danych: strategia wygląda, jakby przyniosła zysk, który w rzeczywistości był jedynie artefaktem wynikającym ze sposobu połączenia szeregów. Analizujemy dane z 13 lat kontraktów terminowych CME i celowo zwracamy uwagę na rolowanie, ponieważ nieudane połączenie może stworzyć przewagę z niczego. Kontrakt, na którym przeprowadzasz test historyczny, musi odpowiadać kontraktowi, którym faktycznie mogłeś handlować.
Wskaźnik Sharpe'a to liczba, po którą sięgają inwestorzy, aby brzmieć rygorystycznie — zwrot na jednostkę ryzyka, wyrażony w jednej przejrzystej wartości. Jest to również jedna z najłatwiejszych do upiększenia liczb w handlu. Wskaźnik Sharpe'a mierzy zwrot na jednostkę ryzyka: bierze się średni zwrot strategii, odejmuje stopę bezryzykową, a następnie dzieli przez zmienność tych zwrotów. Strategia przynosząca 20% rocznie przy gwałtownych wahaniach może uzyskać gorszy wynik niż ta, która stabilnie generuje 12%. Wskaźnik ten istnieje właśnie po to, by wycenić tę zmienność.
Wielokrotne testowanie jest powodem, dla którego dobry test historyczny jest najmniej zaskakującym wynikiem audytu. Przetestuj wystarczająco dużo strategii, a niektóre z nich będą wyglądały na zyskowne wyłącznie przez przypadek; pytanie nigdy nie brzmi, czy znalazłeś taką strategię, ale czy poprzeczka, którą pokonałeś, była wystarczająco wysoka, by miało to znaczenie. Przetestuj jedną strategię, a wskaźnik wygranych nieco wyższy od rzutu monetą będzie wyglądał na przewagę. Przetestuj tysiąc strategii, a już przez sam przypadek kilka z nich przekroczy tę samą poprzeczkę z dużym zapasem. Żadna z nich nie odkryła niczego prawdziwego. Ktoś po prostu musiał wygrać na loterii. Wielokrotne testowanie (zwane również „szperaniem w danych”) ma miejsce, gdy ta liczba prób zostaje pominięta w obliczeniach istotności statystycznej. Typowa granica „zaliczone/niezaliczone” w testach historycznych, czyli statystyka t bliska 2, została stworzona z myślą o testowaniu jednego pomysłu na raz. Jeśli przetestujesz tysiąc pomysłów przy użyciu tej samej granicy, fałszywe sygnały przewyższą liczbę prawdziwych, zanim ktokolwiek w ogóle zacznie je analizować.
Wskaźnik z repaintingiem pokazuje historię inną niż ta, którą wyświetlał na żywo. Sygnał, na podstawie którego zawarłeś transakcję, zazwyczaj już się przesunął, zanim zdążysz na niego spojrzeć z perspektywy czasu. Wskaźnik z repaintingiem pokazuje dziś na wykresie jedną rzecz, a jutro coś innego na tym samym słupku, mimo że w międzyczasie kod nie uległ zmianie. Strzałka, która we wtorek na zamknięciu wskazała idealne dno, może się przesunąć lub zniknąć do czwartku, ponieważ obliczenia leżące u jej podstaw nie zostały zakończone w momencie jej pierwszego pojawienia się. To, co widziałeś w czasie rzeczywistym, a to, co pokazuje teraz historia, to dwa różne zapisy tej samej świecy.
Współczynnik zysku to zysk brutto podzielony przez stratę brutto i jest to jedna z najłatwiejszych do zawyżenia wartości w testach historycznych bez zmiany ani jednej reguły handlowej. Współczynnik zysku to zysk brutto podzielony przez stratę brutto. Zsumuj wszystkie zyskowne transakcje, zsumuj wszystkie stratne transakcje, a następnie podziel pierwszą wartość przez drugą. W przypadku Cross 1.0 strategia przyniosła więcej zysków niż strat, przynajmniej na papierze. To jedna liczba, łatwa do obliczenia, którą łatwo umieścić na stronie sprzedażowej.
Oto powody, dla których strategie trafiają na listę „The No List” — pełny audyt, nazwy wszystkich strategii wraz z werdyktem i dokładnym uzasadnieniem, dlaczego zostały zakwalifikowane lub odrzucone.
Zanim wyjdziesz: odbierz FoxAlgo Data Studio za darmo — realne dane rynkowe na poziomie ticków, automatycznie agregowane do dowolnego interwału, gotowe do eksportu dla NinjaTrader, MT4/MT5 i CSV.