Placebo / permütasyon testi

Verileri karıştırın. İşlem sırasını rastgele belirleyin, giriş sinyalini karıştırın, ardından aynı stratejiyi karıştırılmış versiyon üzerinde tekrar çalıştırın. Gerçek seride olduğu kadar gürültüde de para kazandırıyorsa, orijinal sonuç bir strateji değildi. Bir stratejinin kıyafetlerini giymiş bir tesadüftü. Bu bir permütasyon testidir ve çoğu yayınlanmış geriye dönük testin tamamen atladığı plasebo kontrolüdür.

Mantık doğrudan klinik deneylerden alınmıştır. Bir ilacın sadece hiçbir şeyi yenmekle kalmayıp bir şeker hapını da yenmesi gerekir. Bir işlem kuralının sadece bir grafikteki al-tut çizgisini yenmekle kalmayıp kendisinin rastgele bir versiyonunu da yenmesi gerekir. İşlem sırasını veya çubuk dizisini rastgele belirlemek, kural ile piyasa arasındaki gerçek zamanlama ilişkisini yok ederken, temel getiri dağılımını dokunulmadan bırakır. Performans zar zor hareket ediyorsa, kural piyasayı hiç okumuyordu. Uyumunu okuyordu.

Bunu, önceki filtrelerden geçen her şey üzerinde, boru hattında kalıcı bir geçit olarak çalıştırıyoruz. Gerçekten kârlı görünen stratejilerin önemli bir kısmı, zamanlamaları karıştırıldığı anda çöker, çünkü bir geliştiricinin bulduğunu düşündüğü desen, fiyat hareketinin içinde değil, parametrelerin içinde yaşıyordu. Bu, genelleştirilebilir bir şey keşfetmek yerine eğrinin geçmişe ayarlandığı aşırı uyumun yakın bir akrabasıdır. Ayrıca basit avantaj kontrolünün gözden kaçırdığı durumları da yakalar: bir strateji, ham girişlerde gerçek bir avantajı olmama barajını geçebilir ve yine de tam sıralaması karıştırıldığında başarısız olabilir.

Test gösterişsizdir. Bir stratejiyi zekice olduğu için ödüllendirmez, sadece kendi öncülüne yapılan bir saldırıdan sağ çıktığı için ödüllendirir ve birçok güzel öz sermaye eğrisini ortadan kaldırır. Tam da bu yüzden boru hattında yer almalıdır. Bir sistem ne kadar çok parametre taşırsa ve bir geliştirici "o tek" üzerinde karar kılmadan önce ne kadar çok varyasyon denerse, bir permütasyon testi gerçek bir avantaj ile disiplin kılığına girmiş gürültü arasında duran tek şey olma olasılığı o kadar artar. Bu risk çoklu test ile birleşir: denemeye istekli olduğunuz karıştırılmış veya ayarlanmış konfigürasyon sayısı ne kadar artarsa, bunlardan biri saf şans eseri o kadar harika görünecektir ve bunu ancak bir plasebo kontrolü sonradan yakalar.

Çalıştırması ucuz, başarısız olması acımasız. Bir strateji kendisinin rastgele bir versiyonunu yenemiyorsa, o bir sistem değildir. O, grafik zaten oluştuktan sonra birinin bir grafik hakkında anlattığı bir hikayedir.