失敗モード
真のエッジなし(グロスエッジなし)
グロスエッジなしとは、コストが関与する前であっても、戦略のエントリーがコイントスに決して勝てないことを意味します。これは、当社が戦略を却下する最も一般的な理由であり、最も予想外の理由でもあります。
戦略がエッジを持つのは、そのルールが同じバーでランダムなコイントスエントリーに、1セントのコストも差し引かれる前に勝つ場合です。グロスエッジなしとは、シグナルが何も予測しなかったことを意味します。エントリーはロジックを装ったノイズでした。
これは、当社が戦略を却下する最も一般的な単一の理由であり、人々が最も予想しない発見です。当社が却下するもののほぼ半分は、スリッページやスプレッドが計算に入る前に、ここで失敗しました。一般的な話では、コストが戦略を殺すと言われます。ほとんどの場合、コストは機会を得ません。ほとんどの却下されたシステムは、そもそも生きていませんでした。
そのテストは機械的です。戦略の正確なトレード数、正確な保有パターン、正確な市場エクスポージャーを取り、エントリーロジックをコイントスに置き換えます。それを数千回実行します。もし実際の戦略のリターンが、ランダムな結果の山の中に収まり、それを明確に上回らない場合、ルールは何も追加していません。エクイティカーブがどのように見えても、それは予測ではありません。
これは、トレンドベータとは異なる失敗です。トレンドベータでは、戦略はランダムな基準をクリアしますが、それは単に上昇した市場に静かにロングしていたためです。グロスエッジなしはより明確です。戦略はその低い基準さえクリアできません。説明すべきシグナルは存在しません。なぜなら、シグナルは最初から存在しなかったからです。
ノイズは、本来よりも簡単にエッジとして通用します。なぜなら、同じ履歴に対して十分な数のルールバリアントをテストすると、偶然だけでランダムに勝つものがいくつか保証されるからです。それが多重検定の働きです。これらの偶然の産物の1つがデータに完全に適合するようにパラメーターを調整すると、過剰適合に陥ってしまいます。価格系列をシャッフルしてルールを再実行するプラセボテストでは、真のエッジを持たない戦略は、偽のデータでも実際のデータと同じくらい良好に機能します。それが手がかりです。
エクイティカーブを、ルールが実際に次の動きを予測したかどうかという点まで遡ると、答えは通常「いいえ」です。コストが非難されるのは、スプレッドシートで簡単に見えるからです。真のシグナルの欠如は認めにくいので、それが提案されることはめったにありません。
この背後にある研究
- White (2000). “A Reality Check for Data Snooping.” Econometrica 68(5). — 多くのテストされたルールの中で最良のものが本当に偶然に勝ったのか、それとも多くの試行の中から検索で勝っただけなのかという、コイントスベンチマークの問いを形式化しています。
- Sullivan, Timmermann & White (1999). “Data-Snooping, Technical Trading Rule Performance, and the Bootstrap.” Journal of Finance 54(5). — 1世紀にわたるダウのトレーディングルールを同じ種類のテストにかけました。データスヌーピングが考慮されると、インサンプルで最高のルールは再現に失敗しました。
- Bailey, Borwein, López de Prado & Zhu (2014). “Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance.” Notices of the AMS 61(5). — 多くのルールバリアントをテストすることが、基礎となるロジックが何も現実的なものを予測していなくても、見栄えの良いバックテストをいかに作り出すかを示しています。
外部研究は、文脈とさらなる読書のためにリンクされています。FoxAlgoは独立しており、これらの著者や出版社とは提携していません。
これらはThe No Listの背後にある用語です — 完全な監査、すべての戦略とインジケーターが名前を挙げられ、その評価とそれが生き残ったか死んだかの正確な理由が示されています。
The No Listを入手 →