Wielokrotne testowanie/podsłuchiwanie danych

Przetestuj jedną strategię, a wskaźnik wygranych nieznacznie wyższy niż w rzucie monetą będzie wyglądał jak przewaga. Przetestuj tysiąc strategii, a kilka z nich, przez przypadek, znajdzie się na tym samym poziomie z zapasem. Żadna z nich nie znalazła niczego konkretnego. Ktoś po prostu musiał wygrać na loterii. Wielokrotne testowanie (zwane również „podsłuchiwaniem danych”) ma miejsce, gdy taka liczba prób zostaje pominięta w matematyce istotności. Typowa linia zaliczony/niezaliczony dla backtestu, statystyka t bliska 2, została stworzona do testowania jednego pomysłu na raz. Przepuść tysiąc pomysłów przez tę samą linię, a fałszywe alarmy przewyższą liczbę rzeczywistych sygnałów, zanim ktokolwiek zacznie szukać.

Rozwiązaniem nie jest inny test. To wyższa poprzeczka. Im więcej strategii rywalizuje o miano tej, która działa, tym bardziej odległy wynik musi pozostać, zanim będzie oznaczał cokolwiek poza szczęściem i szukaniem igły w stogu siana. Backtest, który dekady temu zaimponowałby samotnemu badaczowi, staje się niczym niezwykłym, gdy jest najlepszym z tysiąca kolejnych prób.

To właśnie dlatego nasze wskaźniki odrzuceń są tak wysokie. Przetestowaliśmy ponad 1000 strategii i ponad 1700 wskaźników, łącznie ponad 2700 skryptów, a atrakcyjna krzywa kapitału własnego to dokładnie to, co przewiduje ta skala, nawet jeśli każdy z nich okazał się bezwartościowy. Pojedynczy, pozytywny backtest sam w sobie niczego nie dowodzi; nie widać realnej przewagi w tym, jak często sygnał bazowy okazuje się szumem imitującym strategię. Nadmierne dopasowanie to strategia dopasowująca się do własnego szumu; wielokrotne testowanie to dopasowanie do szumu tysiąca strategii naraz. Ta sama pułapka, inna skala.

Traktujemy każdego ocalałego jako winnego, dopóki nie osiągnie rozmiaru odpowiadającego całemu wyszukiwaniu, a nie pojedynczemu backtestowi. Częścią tego jest przeprowadzenie testu placebo na pomieszanych wersjach tych samych danych: jeśli strategia nadal dobrze wygląda w szumie, pierwotny wynik nigdy nie dotyczył rynku. Częścią tego jest odmowa zatrzymania się na pierwszym obiecującym przebiegu i uznania go za zakończony.

Uczciwa liczba na końcu tego filtra jest niewielka. 78,4% przetestowanych przez nas strategii zostało odrzuconych od razu, 14,8% wykazało warunkową przewagę w określonych warunkach, a 0,7% (siedem strategii) pokonało wszystkie przeszkody i uzyskało werdykt nadający się do wdrożenia. Ten wskaźnik to nie pesymizm. To efekt uwzględnienia liczby szans, jakie szum miał, by nas oszukać.