Nadmierne dopasowanie / dopasowanie krzywej

Dopasuj wystarczającą liczbę parametrów, a każda strategia idealnie dopasuje się do historii, wliczając w to losowy szum, który się nie powtórzy. To jest właśnie dopasowywanie krzywych : system zoptymalizowany pod kątem przeszłości, która już minęła, przebrany za odkrycie. Wygląda nieskazitelnie w próbce i rozpada się w momencie zetknięcia z danymi, których nigdy nie widział.

Mechanizm to prosta matematyka działająca na twoją niekorzyść. Podaj optymalizatorowi wystarczającą liczbę wolnych parametrów, a zawsze znajdzie kombinację wyjaśniającą szum w jednej próbce, ponieważ szum nie różni się niczym od rzeczywistego wzorca poza szczęściem. Dodaj tu korektę stop-loss, tam okno retrospektywne, filtr dostrojony do wychwytywania trzech dobrych transakcji z jednego roku, a krzywa kapitału prostowuje się. Nie odkrył, jak zachowują się rynki. Znalazł, jak ten jeden fragment historii zmienił się raz i już się nie zmieni.

Wskazówką jest kruchość. Zmień jedno ustawienie – średnią ruchomą z 20 na 22, stop z 2% na 2,2% – i zobacz piękne kratery krzywych. Strategia z realną, strukturalną przewagą toleruje drobne zmiany, ponieważ przewaga ta nie tkwi w żadnej pojedynczej liczbie. Strategia dopasowania krzywej to zapamiętywanie, a nie uczenie się, a zapamiętana odpowiedź jest bezużyteczna w przypadku pytania, na które wcześniej nie natrafiła.

Zabezpieczamy się przed tym, testując poza próbką: lata i instrumenty, których optymalizator nigdy nie dotykał, specjalnie przechowywane, aby system nie mógł oszukać i uzyskać dobrego wyniku, co jest tą samą logiką, która leży u podstaw testowania walk-forward . Oznacza to również, że strategia, która została przetestowana dla setek kombinacji parametrów, zanim ją zobaczyliśmy, musi osiągnąć wyższy poziom niż ta, której nie przetestowano, ponieważ im więcej konfiguracji jest testowanych, tym większe prawdopodobieństwo, że któraś z nich pasuje do szumu czysto przypadkowo – problem wielokrotnego testowania tkwi w każdym uruchomieniu optymalizatora.

Czyste przeuczenie okazuje się być mniejszym koszem odrzutów, niż większość ludzi się spodziewa. Większość systemów dopasowania krzywych nigdy nie zostaje oskarżona o to konkretne przestępstwo, ponieważ uruchamiają wcześniejszą kontrolę. Uruchom te same reguły dla testu placebo , danych pomieszanych lub przetasowanych, a „przewaga” często przetrwa równie dobrze, jak w rzeczywistości – dowód, że nigdy nie było sygnału do przeuczenia, a jedynie dobrze dopasowany miraż na niczym.

Strategia z czternastoma dostrojonymi danymi wejściowymi nie znalazła przewagi. To pamiętanie jednej niepowtarzalnej ścieżki z przeszłości, ze szczegółami, a przeszłość nie powtarza się zgodnie z planem.