الاختبار المتعدد / التطفل على البيانات

اختبر استراتيجية واحدة وسيبدو معدل الفوز الذي يزيد قليلاً عن رمي العملة ميزة. اختبر ألف استراتيجية، وبالصدفة وحدها، سيتجاوز العديد منها نفس المعيار مع مساحة كبيرة. لم يجد أي منها شيئًا حقيقيًا. كان على أحدهم فقط الفوز باليانصيب. الاختبار المتعدد (ويسمى أيضًا التطفل على البيانات) هو ما يحدث عندما يتم استبعاد عدد المحاولات هذا من حساب الأهمية. تم بناء خط النجاح/الفشل المعتاد للاختبار الخلفي، وهو إحصائية t قريبة من 2، لاختبار فكرة واحدة في كل مرة. قم بتشغيل ألف فكرة عبر نفس الخط وستفوق الإيجابيات الكاذبة الإشارات الحقيقية قبل أن يبدأ أي شخص في البحث.

الحل ليس اختبارًا مختلفًا. إنه معيار أعلى. كلما زاد عدد الاستراتيجيات التي تتنافس على لقب الاستراتيجية التي تعمل، كلما كان على النتيجة أن تقع أبعد في الذيل قبل أن تعني أي شيء يتجاوز الحظ في العثور على إبرة في كومة قش من صنعها. الاختبار الخلفي الذي كان سيثير إعجاب باحث وحيد قبل عقود هو ضوضاء لا تذكر بمجرد أن يكون الأفضل من ألف محاولة تم تشغيلها متتالية.

هذا هو السبب في أن أرقام الرفض لدينا مرتفعة كما هي. لقد اختبرنا أكثر من 1,000 استراتيجية وأكثر من 1,700 مؤشر، أي أكثر من 2,700 نص برمجي إجمالاً، ومنحنى الأسهم الجيد هو بالضبط ما يتنبأ به هذا النطاق حتى لو كانت كل واحدة منها لا قيمة لها. اختبار خلفي واحد جذاب لا يثبت شيئًا بحد ذاته؛ انظر لا توجد ميزة حقيقية لمعرفة عدد المرات التي تتحول فيها الإشارة الأساسية إلى ضوضاء ترتدي ثياب الاستراتيجية. الافراط في الملاءمة هو استراتيجية تتناسب مع ضوضائها الخاصة؛ الاختبار المتعدد هو أننا نتناسب مع ضوضاء ألف استراتيجية في وقت واحد. نفس الفخ، مقياس مختلف.

نتعامل مع كل ناجٍ على أنه مذنب حتى يتجاوز معيارًا بحجم البحث بأكمله، وليس اختبارًا خلفيًا واحدًا. جزء من ذلك هو إجراء اختبار وهمي مقابل إصدارات مشوشة من نفس البيانات: إذا كانت الاستراتيجية لا تزال تبدو جيدة على الضوضاء، فإن النتيجة الأصلية لم تكن أبدًا تتعلق بالسوق. جزء من ذلك هو رفض التوقف عند أول تشغيل واعد واعتباره منتهيًا.

الرقم الصادق في نهاية هذا الفلتر صغير. تم رفض 78.4% من الاستراتيجيات التي اختبرناها بشكل قاطع، وأظهر 14.8% ميزة مشروطة في ظل ظروف محددة، و 0.7% (سبع استراتيجيات) تجاوزت كل العقبات وحصلت على حكم قابل للنشر. هذه النسبة ليست تشاؤمًا. هذا ما يحدث عندما تصحح عدد الفرص التي أتيحت للضوضاء لخداعك.