과적합 / 곡선 맞춤

충분한 매개변수를 조정하면 어떤 전략이든 반복되지 않을 무작위 노이즈를 포함하여 과거에 완벽하게 들어맞을 것입니다. 이것이 곡선 맞춤입니다. 이미 지나간 과거에 최적화되어 발견인 것처럼 꾸며진 시스템입니다. 이는 샘플 내에서는 완벽해 보이지만, 한 번도 보지 못한 데이터를 만나면 즉시 무너집니다.

그 메커니즘은 당신에게 불리하게 작용하는 단순한 수학입니다. 최적화 도구에 충분한 자유 매개변수를 제공하면, 노이즈는 운을 제외하고는 실제 패턴과 구별되는 것이 없기 때문에 항상 단일 샘플의 노이즈를 설명하는 조합을 찾을 것입니다. 여기에 손절매 조정을 추가하고, 저기에 룩백 기간을 추가하고, 한 해 동안 세 번의 좋은 거래를 포착하도록 조정된 필터를 추가하면, 자산 곡선은 곧바로 매끄러워집니다. 이는 시장이 어떻게 움직이는지 알아낸 것이 아닙니다. 이는 그 한 조각의 역사가 한 번 어떻게 움직였는지 알아낸 것이며, 다시는 그렇게 움직이지 않을 것입니다.

그 징후는 취약성입니다. 하나의 설정을 살짝 변경하면 — 이동 평균을 20에서 22로, 손절매를 2%에서 2.2%로 — 아름다운 곡선은 망가집니다. 실제적이고 구조적인 우위를 가진 전략은 우위가 어떤 단일 숫자에만 있는 것이 아니기 때문에 작은 변화를 허용합니다. 곡선 맞춤 전략은 학습하는 것이 아니라 암기하는 것이며, 암기된 답은 이전에 보지 못한 질문에는 쓸모가 없습니다.

우리는 최적화 도구가 한 번도 건드리지 않은 기간과 상품을 샘플 외 테스트로 사용하여 이를 방지합니다. 이는 시스템이 좋은 점수를 얻기 위해 속임수를 쓸 수 없도록 특별히 보류된 것으로, 워크포워드 테스트의 논리와 동일합니다. 또한 우리가 보기 전에 수백 가지 매개변수 조합을 거친 전략은 그렇지 않은 전략보다 더 높은 기준을 통과해야 합니다. 왜냐하면 더 많은 구성이 시도될수록 순전히 우연히 노이즈에 맞는 구성이 나올 가능성이 높아지기 때문입니다 — 모든 최적화 실행 내부에 존재하는 다중 테스트 문제입니다.

순수한 과적합은 대부분의 사람들이 예상하는 것보다 더 작은 거부 항목으로 판명됩니다. 대부분의 곡선 맞춤 시스템은 먼저 초기 검사를 통과하지 못하기 때문에 그 특정 죄목으로 기소되지 않습니다. 위약 테스트, 뒤섞이거나 섞인 데이터에 동일한 규칙을 적용하면 "우위"는 실제 데이터에서와 마찬가지로 잘 살아남는 경우가 많습니다 — 이는 과적합할 신호가 전혀 없었고, 단지 아무것도 없는 위에 잘 맞춰진 신기루가 있었을 뿐이라는 증거입니다.

14개의 조정된 입력을 가진 전략은 우위를 찾은 것이 아닙니다. 이는 과거의 반복 불가능한 한 경로를 상세히 기억하는 것이며, 과거는 예정대로 반복되지 않습니다.