Walk-forward / poza próbką

Testowanie w przód dostraja strategię na jednym fragmencie historii, a następnie testuje ją na kolejnym fragmencie, którego nigdy nie widziała, i przesuwa to okno do przodu w czasie. Dopasuj do jednego odcinka danych. Przetestuj ślepo odcinek bezpośrednio po nim. Włącz ten odcinek do zbioru treningowego, a następnie przetestuj ślepo kolejny. Powtarzaj, aż okno osiągnie dzień dzisiejszy.

Istotą jest to, że wyniki są poza próbką. Jeśli krawędź jest rzeczywista, działa na danych, których optymalizator nie mógł sprawdzić podczas doboru parametrów. Jeśli działa tylko w latach, do których została dopasowana, zapamiętuje szum i nazywa to regułą. To właśnie ta kontrola oddziela prawdziwą regułę od dobrze udekorowanego zbiegu okoliczności i jest pomijana w większości publikowanych testów wstecznych, ponieważ pogarsza ich wyniki.

Bez walk-forward strategia musi spełniać tylko jeden warunek: historyczną krzywą, do której została dostrojona. Dodaj wystarczającą liczbę parametrów, stop tu, filtr tam, magiczną długość lookback, a niemal każda krzywa kapitału własnego może zacząć rosnąć. Żadne z tych dostrojeń nie musi przetrwać roku, którego optymalizator nie dotknął. Walk-forward ją do tego zmusza.

Testujemy na latach i instrumentach, które nie były poddawane żadnemu dostrajaniu, porównując to okno z 13-letnimi danymi z kontraktów terminowych CME i danymi FX z ceną tickową, z rzeczywistymi cenami bid/ask, a nie z okresem, na którym została skalibrowana strategia. Strategia, która musi zobaczyć odpowiedź przed testem, nie jest prognozą. Jest recytacją.

System, który z powodzeniem przechodzi test dopasowania w próbie, ale załamuje się podczas testu Walk-forward, zazwyczaj jest po prostu ukrytym przeuczeniem, dopasowaniem znalezionym poprzez wypróbowanie wystarczającej liczby wariantów, które z pewnością pasowałyby do szumu. To ryzyko narasta z każdą dodatkową konfiguracją, co jest dokładnie tym problemem, który koryguje testowanie wielokrotne . Test placebo atakuje pokrewne pytanie z innej strony – czy krawędź przetrwałaby, gdyby wpisy zostały potasowane do losowego. Test Walk-forward pyta natomiast, czy przetrwałaby w czasie.

Prawdziwe krawędzie są nudne pod tym względem. Ciągle pracują na danych, do których nikt ich nie dopasował, bez nowej rundy dostrajania, aby pozostać aktywnymi. Reguła, która wymaga ciągłego dopasowywania, aby działać, nigdy nie była regułą. To była krzywa, za którą się podąża.