プラセボ / 順列テスト

データをシャッフルします。取引順序をランダム化し、エントリーシグナルをスクランブルし、スクランブルされたバージョンで全く同じ戦略を再実行します。ノイズに対しても実際の系列と同じくらい利益を上げるなら、元の結果は戦略ではありませんでした。それは戦略の服を着た偶然でした。それが順列テストであり、ほとんどの公開されたバックテストが完全にスキップするプラセボ対照です。

このロジックは臨床試験から直接借用されています。薬は、何もしない状態に勝つだけでなく、偽薬に勝つ必要があります。トレーディングルールは、チャート上のバイアンドホールドラインに勝つだけでなく、それ自身のランダム化されたバージョンに勝つ必要があります。取引順序やバーシーケンスをランダム化すると、ルールと市場の間の実際のタイミング関係が破壊されますが、基礎となるリターン分布は手つかずのままです。パフォーマンスがほとんど動かない場合、そのルールは市場を読んでいたのではなく、フィットを読んでいたのです。

我々は、以前のフィルターを通過したすべてのものに対して、パイプラインの恒久的なゲートとしてこれを実行します。本当に収益性があるように見えた戦略のかなりの部分が、タイミングがシャッフルされた瞬間に崩壊します。なぜなら、開発者が発見したと考えたパターンは、価格変動の中ではなく、パラメーターの中に存在していたからです。それは過学習の近親であり、曲線が一般化する何かを発見するのではなく、履歴に調整されていたケースです。また、単純な優位性チェックが見逃すケースも捕捉します。戦略は生のエントリーで真の優位性がないという基準をクリアできても、その正確なシーケンスがスクランブルされると失敗することがあります。

このテストは華やかではありません。それは戦略が賢いことを評価するのではなく、その前提への攻撃を生き残ることを評価するだけであり、多くの美しいエクイティカーブを消滅させます。それがまさにパイプラインに属する理由です。システムが持つパラメーターが多いほど、そして開発者が「これだ」と決めるまでに試したバリエーションが多いほど、順列テストが真の優位性と規律を装ったノイズとの間に立つ唯一のものとなる可能性が高まります。そのリスクは多重検定によって増幅されます。シャッフルまたは調整された構成を試す意欲が高いほど、純粋な偶然によってそのうちの1つが素晴らしく見える可能性が高まり、事後的にそれを捕捉できるのはプラセボ対照だけです。

実行は安価、失敗は残酷。戦略がそれ自身のランダム化されたバージョンに勝てないなら、それはシステムではありません。それは、チャートがすでに起こった後に、誰かがチャートについて語った物語です。