İleriye dönük / örnek dışı

İleriye dönük test, bir stratejiyi tarihin bir diliminde ayarlar, ardından onu hiç görmediği bir sonraki dilimde test eder ve bu pencereyi zaman içinde ileriye doğru kaydırır. Verinin bir bölümüne uydur. Hemen ardından gelen bölümde körü körüne test et. Bu bölümü eğitim setine kat, ardından bir sonrakini körü körüne test et. Pencere bugüne ulaşana kadar tekrarla.

Örnek dışı olmak, tüm meselenin özüdür. Eğer bir avantaj gerçekse, optimize edicinin parametreleri seçerken göz atamadığı veriler üzerinde çalışır. Eğer sadece uydurulduğu yıllarda parlıyorsa, gürültüyü ezberlemiş ve buna bir kural demiştir. Bu, gerçek bir kuralı iyi süslenmiş bir tesadüften ayıran kontroldür ve çoğu yayınlanmış geriye dönük testin atladığı bir şeydir çünkü sonuçları daha kötü gösterir.

İleriye dönük test olmadan, bir strateji sadece tek bir ustayı tatmin etmek zorundadır: ayarlandığı geçmiş eğriyi. Yeterli parametre, burada bir durdurma, orada bir filtre, sihirli bir geriye bakış uzunluğu ekleyin ve neredeyse her öz sermaye eğrisi yükseltilebilir. Bu ayarlamaların hiçbiri, optimize edicinin hiç dokunmadığı bir yılı atlatmak zorunda değildir. İleriye dönük test bunu zorlar.

Herhangi bir ayarlamadan ayrı tutulan yıllar ve enstrümanlar üzerinde test yapıyoruz, bu ayrı tutulan pencereyi 13 yıllık CME vadeli işlem ve gerçek alış/satış fiyatları ile tik seviyesi FX verilerine karşı çalıştırıyoruz, stratejinin kalibre edildiği bölüm üzerinde değil. Testten önce cevabı görmesi gereken bir strateji tahmin yapmıyor. Ezberden okuyor.

Örnek içi uyumu başarıyla geçen ancak ileriye dönük testte çöken bir sistem genellikle sadece aşırı uyum kılığında, yeterince varyasyon denenerek gürültüye uyması kaçınılmaz olan bir uyumdur. Bu risk, denenen her ek konfigürasyonla birleşir, ki bu tam olarak çoklu test için düzeltme yapar. Bir plasebo testi ilgili bir soruyu başka bir açıdan ele alır: girişler rastgele karıştırılırsa avantajın hayatta kalıp kalmayacağı. İleriye dönük test ise zamanı atlatıp atlatmadığını sorar.

Gerçek avantajlar bu şekilde sıkıcıdır. Kimsenin uydurmadığı veriler üzerinde çalışmaya devam ederler, hayatta kalmak için yeni bir ayarlama turuna ihtiyaç duymadan. Çalışmaya devam etmek için sürekli yeniden ayarlama gerektiren bir kural, asla bir kural değildi. Kovalanan bir eğriydi.