워크포워드 / 아웃오브샘플

워크포워드 테스트는 과거의 한 부분에서 전략을 튜닝한 다음, 한 번도 보지 못한 다음 부분에서 테스트하고, 그 기간을 시간적으로 앞으로 굴려나갑니다. 한 데이터 구간에 맞춰 조정합니다. 그 직후의 구간에서 맹목적으로 테스트합니다. 그 구간을 훈련 세트에 포함시킨 다음, 다음 구간에서 맹목적으로 테스트합니다. 이 과정을 오늘날까지 반복합니다.

아웃오브샘플이 핵심입니다. 엣지가 실제라면, 최적화 도구가 매개변수를 선택하는 동안 엿볼 수 없었던 데이터에서도 작동합니다. 만약 맞춰진 기간에만 빛을 발한다면, 그것은 노이즈를 암기하고 규칙이라고 부른 것입니다. 이것이 진짜 규칙과 잘 꾸며진 우연을 구분하는 검증이며, 대부분의 공개된 백테스트가 결과를 더 나쁘게 보이게 하기 때문에 건너뛰는 부분입니다.

워크포워드 없이는, 전략은 오직 하나의 주인, 즉 튜닝된 과거 곡선에만 만족하면 됩니다. 충분한 매개변수, 여기에 스톱, 저기에 필터, 마법의 룩백 길이를 추가하면 거의 모든 자산 곡선을 상승시킬 수 있습니다. 그 어떤 튜닝도 최적화 도구가 건드리지 않은 기간을 견뎌낼 필요가 없습니다. 워크포워드는 그것을 강제합니다.

우리는 어떤 튜닝에서도 제외된 기간과 상품에 대해 테스트하며, 전략이 보정된 구간이 아닌, 실제 매수/매도 호가가 있는 13년간의 CME 선물 및 틱 단위 FX 데이터를 대상으로 해당 제외된 기간을 실행합니다. 테스트 전에 답을 봐야 하는 전략은 예측이 아닙니다. 그것은 암송입니다.

인샘플 적합성은 뛰어나지만 워크포워드에서 무너지는 시스템은 대개 변장한 과적합이며, 충분한 변형을 시도하여 노이즈와 일치하는 하나를 찾아낸 것입니다. 이러한 위험은 시도되는 모든 추가 구성마다 증가하며, 이는 다중 테스트가 교정하는 정확한 문제입니다. 위약 테스트는 관련 질문을 다른 각도에서 다루는데, 진입 시점을 무작위로 섞었을 때 엣지가 살아남을지 여부입니다. 워크포워드는 대신 시간이 지나도 살아남는지 묻습니다.

진정한 엣지는 그런 식으로 지루합니다. 그것들은 아무도 맞추지 않은 데이터에서도 계속 작동하며, 살아남기 위한 새로운 튜닝 라운드가 필요 없습니다. 계속 작동하기 위해 끊임없는 재조정이 필요한 규칙은 결코 규칙이 아니었습니다. 그것은 쫓기던 곡선이었습니다.