ウォークフォワード / アウトオブサンプル

ウォークフォワードテストは、過去のある期間のデータで戦略を調整し、その後、一度も見たことのない次の期間のデータでテストし、その期間を時間とともに前方に移動させます。ある期間のデータでフィットさせ、その直後の期間のデータで盲目的にテストします。その期間をトレーニングセットに組み込み、次に続く期間のデータで盲目的にテストします。このプロセスを、期間が現在に到達するまで繰り返します。

アウトオブサンプルこそが本質です。もしエッジが本物であれば、最適化ツールがパラメータを選択する際に参照できなかったデータでも機能します。もしフィットさせた期間のデータでしか機能しないのであれば、それはノイズを記憶してルールと呼んでいるに過ぎません。これは、本物のルールと偶然の一致を区別するための検証であり、ほとんどの公開されたバックテストが結果を悪く見せるためスキップするものです。

ウォークフォワードなしでは、戦略はただ一つの基準、つまり調整された過去の曲線に適合すればよいことになります。十分な数のパラメータ、ここでのストップ、そこでのフィルター、魔法のようなルックバック期間を追加すれば、ほとんどどんなエクイティカーブでも上昇させることができます。これらの調整は、最適化ツールが一度も触れていない期間でも機能する必要はありません。ウォークフォワードはそれを強制します。

私たちは、調整から除外された期間と金融商品でテストを行い、戦略が調整された期間ではなく、13年間のCME先物および実際のビッド/アスクを含むティックレベルのFXデータに対して、その除外された期間を適用します。テストの前に答えを見る必要がある戦略は、予測ではありません。それは暗唱です。

インサンプルでの適合は完璧だが、ウォークフォワードで破綻するシステムは、通常、偽装された過剰最適化であり、十分なバリエーションを試した結果、ノイズに一致するものが偶然見つかった適合です。このリスクは、試行される追加の構成ごとに増大し、これはまさに多重検定が修正する問題です。プラセボテストは、エントリーがランダムにシャッフルされた場合でもエッジが存続するかどうかという、関連する問題を別の角度から検証します。ウォークフォワードは、代わりに時間が経っても存続するかどうかを問います。

本物のエッジはその点で面白みに欠けます。誰もフィットさせていないデータに対しても機能し続け、存続のために新たな調整ラウンドを必要としません。機能し続けるために絶え間ない再調整が必要なルールは、決してルールではありませんでした。それは追いかけられていた曲線に過ぎません。