실패 유형
실질적 우위 없음 (총 우위 없음)
총 우위 없음은 전략의 진입이 비용이 발생하기 전에도 동전 던지기를 이기지 못한다는 의미입니다. 이는 저희가 전략을 거부하는 가장 흔한 이유이자 가장 예상치 못한 이유입니다.
전략은 비용이 한 푼도 발생하기 전에 동일한 봉에서 무작위 동전 던지기 진입을 규칙이 이길 때 우위를 가집니다. 총 우위 없음은 신호가 아무것도 예측하지 못했음을 의미합니다. 진입은 논리로 위장한 노이즈였습니다.
이는 저희가 전략을 거부하는 가장 흔한 단일 이유이며, 사람들이 가장 예상치 못하는 발견입니다. 저희가 폐기하는 거의 절반의 모든 것이 슬리피지나 스프레드가 계산에 포함되기 전에 바로 여기서 실패했습니다. 일반적인 이야기는 비용이 전략을 죽인다는 것입니다. 대부분의 경우 비용은 그럴 기회조차 얻지 못합니다. 대부분의 거부된 시스템은 애초에 살아있지 않았습니다.
이를 테스트하는 것은 기계적입니다. 전략의 정확한 거래 횟수, 정확한 보유 패턴, 정확한 시장 노출을 가져와 진입 로직을 동전 던지기로 바꿉니다. 이를 수천 번 실행합니다. 실제 전략의 수익률이 무작위 결과 더미 안에 위치하고 그 위에 명확히 있지 않다면, 규칙은 아무것도 추가하지 않은 것입니다. 자산 곡선이 어떻게 보이든, 그것은 예측이 아닙니다.
이는 추세 베타와는 다른 실패입니다. 추세 베타는 전략이 무작위 기준을 넘어서지만, 이는 단순히 상승하는 시장에 조용히 롱 포지션을 취했기 때문입니다. 총 우위 없음은 더 극명합니다. 전략은 그 낮은 기준조차 넘어서지 못합니다. 설명할 신호가 없습니다. 애초에 신호가 없었기 때문입니다.
노이즈는 예상보다 쉽게 우위로 통과됩니다. 동일한 과거 데이터에 대해 충분한 규칙 변형을 테스트하면 몇몇은 우연히 무작위를 이길 것이 보장되기 때문입니다. 이것이 다중 테스트의 작용입니다. 그 우연 중 하나가 데이터에 완벽하게 들어맞을 때까지 매개변수를 조정하면 과적합으로 빠져들게 됩니다. 가격 시리즈를 섞고 규칙을 다시 실행하는 위약 테스트를 수행하면, 실질적 우위가 없는 전략은 가짜 데이터에서도 실제 데이터에서와 마찬가지로 잘 작동합니다. 이것이 바로 단서입니다.
자산 곡선을 규칙이 실제로 다음 움직임을 예측했는지 여부로 되돌려 보면, 대개 답은 '아니오'입니다. 비용은 스프레드시트에서 쉽게 볼 수 있기 때문에 비난받습니다. 실제 신호의 부재는 인정하기 더 어렵기 때문에, 거의 언급되지 않습니다.
이것의 배경 연구
- White (2000). “A Reality Check for Data Snooping.” Econometrica 68(5). — 동전 던지기 벤치마크 질문을 공식화합니다. 즉, 여러 테스트된 규칙 중 최고가 진정으로 우연을 이기는지, 아니면 단순히 여러 시도 중 검색에서 이긴 것인지에 대한 질문입니다.
- Sullivan, Timmermann & White (1999). “Data-Snooping, Technical Trading Rule Performance, and the Bootstrap.” Journal of Finance 54(5). — 한 세기 동안의 다우 트레이딩 규칙을 동일한 종류의 테스트를 통해 실행했습니다. 데이터 스누핑이 반영되자 최고의 인샘플 규칙은 반복되지 못했습니다.
- Bailey, Borwein, López de Prado & Zhu (2014). “Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance.” Notices of the AMS 61(5). — 많은 규칙 변형을 테스트하는 것이 기본 논리 중 어느 것도 실제를 예측하지 못할 때에도 훌륭해 보이는 백테스트를 어떻게 만들어낼 수 있는지 보여줍니다.
외부 연구 자료는 맥락과 추가 자료를 위해 링크되었습니다. FoxAlgo는 독립적이며 이들 저자나 출판사와 제휴하지 않습니다.
이 용어들은 The No List의 배경입니다. The No List는 모든 전략과 지표를 명시하고, 그 결과와 생사 여부의 정확한 이유를 담은 전체 감사 보고서입니다.
The No List 받기 →