失敗モード
Tail-concentrated (jackpot)
利益のほぼすべては、ごく少数の外れ値の日に由来しています。それらを曲線から取り除くと、エッジも消滅します。
これがテール集中型利益、別名ジャックポットリスクのメカニズムです。戦略は、ごく一部のセッションを除いて何も有用なことをしていないにもかかわらず、何年もの間利益が出ているように見えることがあります。バックテストではそれが偶然であるとは認識できません。なぜなら、総リターンはリターンがどこから来たのかを示さないからです。
これは我々が目にする最も魅力的な失敗モードです。なぜなら、どのように構築されたかに関わらず、見出しのリターンは目覚ましく見えるからです。4つの荒れた日に基づく曲線と400の穏やかな日に基づく曲線は、マーケティングスライド上で同じ合計を示すことがあります。要約統計量には、どちらを見ているのかを警告するものは何もありません。曲線を開いて、最終的な数字だけでなく、日次リターンの分布を見る必要があります。
我々はそれを直接テストします。上位10パーセントの勝ち日を取り除き、残りのデータで戦略を再実行します。真のエッジを持つ戦略は機能し続け、リターンは減少しますが、曲線はポジティブを維持し、形状も保たれます。ジャックポット戦略は、最高の数日を取り除いた瞬間に崩壊します。なぜなら、それらの日は継続的なパフォーマンスのサンプルではなく、パフォーマンスのすべてだったからです。
テール集中型利益は、監査において、グロスエッジが全くないこと、そして市場ベータを装って乗じていることに次いで、3番目に多い却下理由です。また、最も長く人々を欺くものでもあります。高いシャープレシオと滑らかな曲線は、サンプル中に少数の外れ値の日が存在しても両立し得ます。統計は自動的に集中度を指摘しません。自分で探し出す必要があります。
実際的な問題は統計だけでなく、タイミングです。ジャックポットの日を事前に計画することはできません。ライブトレードでは、年に数回の特定の動きを捉えることに依存する戦略は、週末のギャップ、ブローカーの障害、またはバックテストで想定されたよりも悪い約定によって、それらの動きの1つを逃す可能性が最も高い戦略です。最高の日を逃すと、紙の上では無敵に見えた戦略は、残りの年をフラットに戻すために奮闘し、多くの場合、その間ずっと深いドローダウンに陥ります。
5本の陽線に支えられた曲線はシステムではありません。それはシステムの服を着た5つの幸運な日の写真です。
この背景にある研究
- Bailey & López de Prado (2014). “The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-Normality.” Journal of Portfolio Management 40(5). — バックテストの過学習とファットテールリターンに対するシャープレシオの修正方法を示しています。これはジャックポット曲線がもたらす歪みそのものです。
- Lo (2002). “The Statistics of Sharpe Ratios.” Financial Analysts Journal 58(4). — リターン系列の統計が年率パフォーマンス数値を過大評価する可能性を示しています。これは、少数の外れ値の日がシャープレシオに仕掛ける罠と同じです。
- López de Prado (2018). “Advances in Financial Machine Learning.” Wiley. — 戦略研究におけるバックテストの過学習と誤った発見について述べています。これは、テール集中型結果がその症状の一つであるより広範な問題です。
外部研究は、文脈とさらなる読書のためにリンクされています。FoxAlgoは独立しており、これらの著者や出版社とは提携していません。
これらはThe No Listの背後にある用語です。The No Listは、すべての戦略と指標を名指しし、その評価と、それが成功したか失敗したかの正確な理由を記した完全な監査です。
The No Listを入手 →