الاختبار التقدّمي / خارج العينة

يضبط الاختبار التقدّمي استراتيجية على شريحة واحدة من التاريخ، ثم يختبرها على الشريحة التالية التي لم يرها قط، ويُمرر تلك النافذة إلى الأمام عبر الزمن. يتم الضبط على فترة واحدة من البيانات. ثم يتم الاختبار بشكل أعمى على الفترة التي تليها مباشرة. تُدمج تلك الفترة في مجموعة التدريب، ثم يتم الاختبار بشكل أعمى على الفترة التالية. تتكرر العملية حتى تصل النافذة إلى اليوم.

خارج العينة هو جوهر الأمر. إذا كانت الميزة حقيقية، فإنها تعمل على بيانات لم يتمكن المحسّن من الاطلاع عليها أثناء اختيار المعلمات. إذا كانت تتألق فقط في السنوات التي تم ضبطها عليها، فقد حفظت الضوضاء وسمتها قاعدة. هذا هو الفحص الذي يفصل القاعدة الحقيقية عن المصادفة المزخرفة جيدًا، وهو الفحص الذي تتجاهله معظم الاختبارات الخلفية المنشورة لأنه يجعل النتائج تبدو أسوأ.

بدون الاختبار التقدّمي، يجب أن ترضي الاستراتيجية سيدًا واحدًا فقط: المنحنى التاريخي الذي تم ضبطها عليه. أضف ما يكفي من المعلمات، وقف هنا، وفلتر هناك، وطول نظرة سحرية، ويمكن جعل أي منحنى أسهم تقريبًا يتسلق. لا يجب أن ينجو أي من هذا الضبط من عام لم يلمسه المحسّن أبدًا. الاختبار التقدّمي يجبرها على ذلك.

نحن نختبر على سنوات وأدوات تم استبعادها من أي ضبط، ونُشغل تلك النافذة المستبعدة مقابل 13 عامًا من عقود CME الآجلة وبيانات الفوركس على مستوى التجزئة مع عروض أسعار حقيقية (bid/ask)، وليس الفترة التي تم معايرة الاستراتيجية عليها. الاستراتيجية التي تحتاج إلى رؤية الإجابة قبل الاختبار لا تتنبأ. إنها تستعيد.

النظام الذي يتفوق في الملاءمة داخل العينة ولكنه ينهار في الاختبار التقدّمي عادة ما يكون مجرد الفرط في الملاءمة متنكرًا، وهو ملاءمة تم العثور عليها بتجربة ما يكفي من الاختلافات بحيث كان لا بد أن يتطابق أحدها مع الضوضاء. يتفاقم هذا الخطر مع كل تكوين إضافي يتم تجربته، وهو بالضبط المشكلة التي تصححها الاختبارات المتعددة. يهاجم الاختبار الوهمي سؤالًا ذا صلة من زاوية أخرى، وهو ما إذا كانت الميزة ستنجو إذا تم خلط الإدخالات عشوائيًا. يسأل الاختبار التقدّمي ما إذا كانت تنجو من الزمن بدلاً من ذلك.

الميزات الحقيقية مملة بهذه الطريقة. إنها تستمر في العمل على بيانات لم يقم أحد بضبطها عليها، دون جولة جديدة من الضبط للبقاء على قيد الحياة. القاعدة التي تحتاج إلى إعادة ضبط مستمرة للاستمرار في العمل لم تكن قاعدة أبدًا. لقد كانت منحنى يتم مطاردته.