다중 검정 / 데이터 스누핑

하나의 전략을 테스트할 때 동전 던지기보다 약간 높은 승률은 우위처럼 보입니다. 천 개의 전략을 테스트하면 우연히도 여러 전략이 여유 있게 동일한 기준을 통과할 것입니다. 그 중 어느 것도 실제적인 것을 찾지 못했습니다. 누군가는 복권에 당첨되어야 했습니다. 다중 검정(데이터 스누핑이라고도 함)은 시도 횟수가 유의성 계산에서 제외될 때 발생합니다. 백테스트의 일반적인 합격/불합격 기준인 t-통계량 2 근처는 한 번에 하나의 아이디어를 테스트하기 위해 만들어졌습니다. 천 개의 아이디어를 동일한 기준에 따라 실행하면, 누구도 찾아보기 시작하기도 전에 오탐이 실제 신호보다 많아집니다.

해결책은 다른 테스트가 아닙니다. 더 높은 기준입니다. 작동하는 전략이라는 타이틀을 놓고 더 많은 전략이 경쟁할수록, 결과는 스스로 만든 건초 더미에서 바늘을 찾는 운 이상의 의미를 가지려면 꼬리 부분에서 더 멀리 떨어져 있어야 합니다. 수십 년 전 한 명의 연구자를 감동시켰을 백테스트는 천 번의 연속 시도 중 최고일 경우 평범한 노이즈에 불과합니다.

이것이 우리의 거부율이 그렇게 높은 이유입니다. 우리는 총 1,000개 이상의 전략과 1,700개 이상의 지표, 2,700개 이상의 스크립트를 테스트했습니다. 그리고 보기 좋은 자산 곡선은 이들 중 단 하나라도 가치가 없더라도 그러한 규모가 정확히 예측하는 바입니다. 단 하나의 그럴듯한 백테스트는 그 자체로 아무것도 증명하지 못합니다. 기본 신호가 전략의 옷을 입은 노이즈로 판명되는 경우가 얼마나 많은지 실제 우위 없음을 참조하십시오. 과적합은 전략이 자체 노이즈에 맞춰지는 것입니다. 다중 검정은 우리가 한 번에 천 개의 전략의 노이즈에 맞춰지는 것입니다. 같은 함정, 다른 규모.

우리는 모든 생존자를 하나의 단독 백테스트가 아닌 전체 검색에 맞춰진 기준을 통과할 때까지 유죄로 간주합니다. 그 일부는 동일한 데이터의 뒤섞인 버전에 대해 위약 테스트를 실행하는 것입니다. 만약 전략이 노이즈에서도 여전히 좋아 보인다면, 원래 결과는 시장에 관한 것이 아니었습니다. 그 일부는 첫 번째 유망한 실행에서 멈추고 완료되었다고 선언하는 것을 거부하는 것입니다.

그 필터의 끝에 있는 정직한 숫자는 작습니다. 우리가 테스트한 전략의 78.4%는 즉시 거부되었습니다. 14.8%는 특정 조건에서 조건부 우위를 보였습니다. 그리고 0.7% (일곱 개의 전략)는 모든 장애물을 통과하고 배포 가능한 판정을 받았습니다. 그 비율은 비관론이 아닙니다. 그것은 노이즈가 당신을 속일 수 있었던 기회들을 보정했을 때 일어나는 일입니다.