多重検定 / データスヌーピング

1つの戦略をテストして、コイントスよりわずかに高い勝率であれば、エッジがあるように見えます。しかし、1,000の戦略をテストすれば、偶然だけで、いくつかはその同じ基準を余裕でクリアするでしょう。それらのどれも本物を見つけたわけではありません。誰かが宝くじに当たる必要があっただけです。多重検定（データスヌーピングとも呼ばれます）は、試行回数が有意性の計算から除外された場合に起こることです。バックテストの通常の合否ラインであるt統計量2付近は、一度に1つのアイデアをテストするために作られました。その同じラインに1,000のアイデアを通すと、誰も探し始める前に誤検出が実際のシグナルを上回ります。

解決策は別のテストではありません。より高い基準です。機能する戦略の称号を競う戦略が増えるほど、結果は運が作り出した干し草の山から針を見つける以上の意味を持つ前に、テールのはるか外側に位置しなければなりません。何十年も前に一人の研究者を感動させたであろうバックテストも、1,000回の連続した試行の中で最高のものであれば、取るに足らないノイズとなります。

これが、我々の却下数がこれほど高くなる理由です。我々は1,000以上の戦略と1,700以上のインジケーター、合計2,700以上のスクリプトをテストしました。そして、見栄えの良いエクイティカーブは、たとえそれらすべてが無価値であったとしても、その規模が予測する通りのものです。単一の都合の良いバックテストだけでは何も証明されません。基礎となるシグナルが、戦略の服を着たノイズであることがいかに多いかについては、真のエッジなしを参照してください。過学習は、戦略が自身のノイズに適合することであり、多重検定は、我々が一度に1,000の戦略のノイズに適合することです。同じ罠ですが、規模が異なります。

我々は、個々のバックテストではなく、検索全体のために設定された基準をクリアするまで、すべての生き残ったものを有罪と見なします。その一部は、同じデータのスクランブルバージョンに対してプラセボテストを実行することです。もし戦略がノイズに対しても依然として良好に見えるなら、元の結果は市場に関するものではなかったということです。その一部は、最初の有望な実行で止まらず、それを完了と見なすことを拒否することです。

そのフィルターの最終的な正直な数字は小さいです。テストした戦略の78.4%は即座に却下され、14.8%は特定の条件下で条件付きのエッジを示し、0.7%（7つの戦略）がすべてのハードルをクリアし、展開可能な評価を獲得しました。この比率は悲観主義ではありません。ノイズがあなたを欺く機会がどれだけあったかを修正したときに起こることです。