Çoklu test / veri gözetleme

Tek bir stratejiyi test edin ve yazı tura atışından biraz daha yüksek bir kazanma oranı bir avantaj gibi görünür. Bin stratejiyi test edin ve sadece şans eseri, birkaçı aynı çıtayı fazlasıyla aşacaktır. Hiçbiri gerçek bir şey bulmadı. Birinin sadece piyangoyu kazanması gerekiyordu. Çoklu test (veri gözetleme olarak da adlandırılır) bu deneme sayısının anlamlılık matematiğinden çıkarılmasıyla ortaya çıkar. Bir geriye dönük test için olağan geçme/kalma çizgisi, 2'ye yakın bir t-istatistiği, her seferinde tek bir fikri test etmek için oluşturulmuştur. Bin fikri aynı çizgiden geçirin ve daha kimse bakmaya başlamadan yanlış pozitifler gerçek sinyallerden daha fazla olur.

Çözüm farklı bir test değil. Daha yüksek bir çıta. Ne kadar çok strateji işe yarayanın unvanı için rekabet ederse, bir sonuç kendi yarattığı samanlıkta bir iğne bulma şansından öte bir anlam ifade etmeden önce o kadar kuyrukta yer almalıdır. Onlarca yıl önce tek bir araştırmacıyı etkileyecek bir geriye dönük test, binlerce denemenin art arda çalıştırılmasından elde edilen en iyi sonuç olduğunda sıradan bir gürültüden ibarettir.

Reddetme sayılarımızın bu kadar yüksek olmasının nedeni budur. Toplamda 1.000'den fazla strateji ve 1.700'den fazla gösterge, 2.700'den fazla komut dosyası test ettik ve iyi görünen bir öz sermaye eğrisi, her biri değersiz olsa bile bu ölçeğin tam olarak tahmin ettiğidir. Tek bir hoş geriye dönük test kendi başına hiçbir şeyi kanıtlamaz; temel sinyalin bir stratejinin kıyafetlerini giymiş gürültüye ne sıklıkta dönüştüğünü görmek için gerçek bir avantaj yok bölümüne bakın. Aşırı uyum kendi gürültüsüne uyan bir stratejidir; çoklu test, binlerce stratejinin gürültüsüne aynı anda uyum sağlamamızdır. Aynı tuzak, farklı ölçek.

Her hayatta kalanı, tek bir geriye dönük test için değil, tüm arama için belirlenmiş bir çıtayı aşana kadar suçlu kabul ederiz. Bunun bir kısmı, aynı verinin karıştırılmış versiyonlarına karşı bir plasebo testi çalıştırmaktır: eğer bir strateji gürültü üzerinde hala iyi görünüyorsa, orijinal sonuç asla piyasa ile ilgili değildi. Bunun bir kısmı da ilk umut vadeden çalıştırmada durmayı ve bitmiş saymayı reddetmektir.

Bu filtrenin sonunda dürüst sayı küçüktür. Test ettiğimiz stratejilerin %78,4'ü doğrudan reddedildi, %14,8'i belirli koşullar altında koşullu bir avantaj gösterdi ve %0,7'si (yedi strateji) her engeli aştı ve uygulanabilir bir karar kazandı. Bu oran karamsarlık değildir. Gürültünün sizi kandırmak için kaç şansı olduğunu düzelttiğinizde olan budur.