Test placebo / permutacyjny

Przetasuj dane. Zrandomizuj zlecenie handlowe, przemieszaj sygnał wejścia, a następnie zastosuj dokładnie tę samą strategię w wersji przemieszanej. Jeśli na szumie zarabia się tyle samo, co na prawdziwej serii, pierwotny wynik nie był strategią. To był zbieg okoliczności, który nosił szatę strategii. To test permutacyjny i kontrola placebo, którą większość publikowanych backtestów całkowicie pomija.

Logika ta jest zapożyczona wprost z badań klinicznych. Lek musi pokonać „cukierkową pigułkę”, a nie po prostu nic. Reguła tradingowa musi pokonać losową wersję samej siebie, a nie tylko linię „kup i trzymaj” na wykresie. Losowanie zlecenia handlowego lub sekwencji słupków niszczy wszelkie rzeczywiste zależności czasowe między regułą a rynkiem, pozostawiając nienaruszony rozkład stóp zwrotu. Jeśli wyniki ledwo się zmieniają, reguła nigdy nie odczytywała rynku. Odczytywała dopasowanie.

Uruchamiamy to na wszystkim, co przetrwało wcześniejsze filtry, jako stałą bramkę w procesie. Znaczna część strategii, które wyglądały na naprawdę zyskowne, załamuje się w momencie, gdy ich czas zostaje przetasowany, ponieważ wzorzec, który deweloper uważał za znaleziony, znajdował się wewnątrz parametrów, a nie w ruchu cenowym. To bliski krewny przeuczenia , gdzie krzywa była dostrajana do historii, zamiast odkryć coś, co generalizuje. Wychwytuje również przypadki, których nie wykrywa zwykłe sprawdzanie krawędzi: strategia może przeskoczyć poprzeczkę bez rzeczywistej przewagi przy surowych wejściach, a mimo to zawieść, gdy jej dokładna sekwencja zostanie zaburzona.

Test jest mało efektowny. Nie nagradza strategii za spryt, a jedynie za przetrwanie ataku na własne założenia, i sprawia, że wiele atrakcyjnych krzywych kapitału znika. Właśnie dlatego powinien znaleźć się w procesie. Im więcej parametrów ma system i im więcej wariantów programista wypróbował, zanim wybrał „tę jedyną”, tym większe prawdopodobieństwo, że test permutacji jest jedyną przeszkodą między rzeczywistą przewagą a szumem pozorowanym jako dyscyplina. To ryzyko potęguje się przy wielokrotnym testowaniu : im więcej przetasowanych lub zmodyfikowanych konfiguracji jesteś gotów wypróbować, tym bardziej jedna z nich będzie wyglądała świetnie przez czysty przypadek, a wykryje ją dopiero kontrola placebo.

Tania w realizacji, brutalna w porażce. Jeśli strategia nie może pokonać losowej wersji samej siebie, to nie jest systemem. To historia, którą ktoś opowiedział o wykresie, po tym, jak wykres już powstał.