اختبار الغُفْل / التبديل

اخلط البيانات. عشوِ ترتيب الصفقات، اخلط إشارة الدخول، ثم أعد تشغيل نفس الاستراتيجية بالضبط على النسخة المخلوطة. إذا حققت نفس القدر من المال على الضوضاء كما حققته على السلسلة الحقيقية، فإن النتيجة الأصلية لم تكن استراتيجية. لقد كانت مصادفة ترتدي ثوب استراتيجية. هذا هو اختبار التبديل، وهو التحكم بالغُفْل الذي تتجاهله معظم الاختبارات الخلفية المنشورة بالكامل.

المنطق مستعار مباشرة من التجارب السريرية. يجب أن يتفوق الدواء على حبة سكر، وليس مجرد التفوق على لا شيء. يجب أن تتفوق قاعدة التداول على نسخة عشوائية من نفسها، وليس مجرد التفوق على خط الشراء والاحتفاظ على الرسم البياني. إن عشوائية ترتيب الصفقات أو تسلسل الشموع يدمر أي علاقة توقيت حقيقية بين القاعدة والسوق مع ترك توزيع العائد الأساسي دون مساس. إذا لم يتغير الأداء إلا قليلاً، فإن القاعدة لم تكن تقرأ السوق أبدًا. كانت تقرأ التوافق.

نطبق هذا على كل ما ينجو من الفلاتر السابقة، كبوابة دائمة في خط العمل. تنهار نسبة كبيرة من الاستراتيجيات التي بدت مربحة حقًا لحظة خلط توقيتها، لأن النمط الذي اعتقد المطور أنه وجده كان يعيش داخل المعلمات، وليس داخل حركة السعر. هذا قريب من التحيز الزائد (overfitting)، حيث تم ضبط المنحنى على التاريخ بدلاً من اكتشاف شيء قابل للتعميم. كما أنه يكشف الحالات التي تفوتها فحوصات الميزة البسيطة: يمكن للاستراتيجية أن تتجاوز عتبة عدم وجود ميزة حقيقية على الإدخالات الخام وتظل تفشل بمجرد خلط تسلسلها الدقيق.

الاختبار غير جذاب. إنه لا يكافئ الاستراتيجية لكونها ذكية، بل فقط لبقائها على قيد الحياة بعد هجوم على فرضيتها، ويجعل الكثير من منحنيات الأسهم الجميلة تختفي. هذا هو بالضبط سبب وجوده في خط العمل. كلما زادت المعلمات التي يحملها النظام، وكلما زادت التغييرات التي جربها المطور قبل الاستقرار على "الوحيدة"، زادت احتمالية أن يكون اختبار التبديل هو الشيء الوحيد الذي يقف بين ميزة حقيقية وضوضاء تتنكر في زي الانضباط. يتفاقم هذا الخطر مع الاختبار المتعدد: كلما زادت التكوينات المخلوطة أو المعدلة التي ترغب في تجربتها، زاد احتمال أن يبدو أحدها رائعًا بالصدفة البحتة، ولا يكتشفه إلا التحكم بالغُفْل بعد وقوعه.

رخيص التشغيل، قاسٍ في الفشل. إذا لم تتمكن الاستراتيجية من التفوق على نسخة عشوائية من نفسها، فهي ليست نظامًا. إنها قصة رواها أحدهم عن رسم بياني، بعد أن حدث الرسم البياني بالفعل.