위약 / 순열 검정

데이터를 섞습니다. 거래 순서를 무작위화하고, 진입 신호를 뒤섞은 다음, 뒤섞인 버전에서 정확히 동일한 전략을 다시 실행합니다. 만약 실제 시계열에서만큼 노이즈에서도 똑같이 돈을 번다면, 원래 결과는 전략이 아니었습니다. 그것은 전략의 옷을 입은 우연이었습니다. 그것이 순열 검정이며, 대부분의 발표된 백테스트가 완전히 건너뛰는 위약 대조군입니다.

이 논리는 임상 시험에서 직접 차용되었습니다. 약물은 아무것도 이기지 않는 것이 아니라 위약을 이겨야 합니다. 트레이딩 규칙은 차트의 매수 후 보유 라인을 이기는 것이 아니라, 무작위화된 버전의 자신을 이겨야 합니다. 거래 순서나 바 시퀀스를 무작위화하는 것은 규칙과 시장 사이의 실제 타이밍 관계를 파괴하면서도 기본 수익 분포는 그대로 둡니다. 성능이 거의 움직이지 않는다면, 그 규칙은 시장을 읽고 있던 것이 아닙니다. 그것은 적합성을 읽고 있던 것입니다.

우리는 이전 필터를 통과한 모든 것에 대해 이것을 파이프라인의 영구적인 관문으로 실행합니다. 진정으로 수익성이 있어 보였던 상당수의 전략은 타이밍이 뒤섞이는 순간 무너집니다. 개발자가 찾았다고 생각했던 패턴이 가격 움직임이 아닌 매개변수 안에 존재했기 때문입니다. 이는 과적합의 가까운 사촌으로, 일반화되는 것을 발견하는 대신 곡선이 과거에 맞춰 조정된 경우입니다. 또한 단순한 우위 확인이 놓치는 경우도 포착합니다. 전략이 원시 진입에서 실제 우위 없음 기준을 통과하더라도, 정확한 시퀀싱이 뒤섞이면 실패할 수 있습니다.

이 검정은 화려하지 않습니다. 이것은 전략이 영리하다는 이유로 보상하지 않으며, 오직 자신의 전제에 대한 공격에서 살아남는 것에 대해서만 보상하고, 많은 아름다운 자산 곡선을 사라지게 합니다. 이것이 바로 파이프라인에 속해야 하는 이유입니다. 시스템이 더 많은 매개변수를 가지고 있고, 개발자가 "하나"를 결정하기 전에 더 많은 변형을 시도할수록, 순열 검정은 실제 우위와 규율로 위장한 노이즈 사이에 서 있는 유일한 것이 될 가능성이 더 높습니다. 이 위험은 다중 검정과 함께 증가합니다. 더 많은 뒤섞이거나 조정된 구성을 시도할수록, 그 중 하나가 순전히 우연히 훌륭해 보일 가능성이 높아지며, 위약 대조군만이 사후에 이를 포착합니다.

실행 비용은 저렴하지만, 실패는 가혹합니다. 만약 전략이 무작위화된 버전의 자신을 이길 수 없다면, 그것은 시스템이 아닙니다. 그것은 차트가 이미 발생한 후에 누군가가 차트에 대해 이야기한 이야기일 뿐입니다.