독립 전략 리서치
필터가 브레이크아웃 시스템을 더 좋게 만드는가? 12개를 테스트했다.
솔직한 답: 아무것도 하지 않는 것을 이긴 것은 0개였다. 우리는 유동성 높은 선물에서 작동하고 비용을 반영한 브레이크아웃 시스템, 즉 13년, 600,000건 이상 거래의 백테스트에서 매년 돈을 번 시스템을 가져와, 10+개의 전형적 사이징 및 레짐 필터를 붙여 개선되는지 확인했다. 단순한 평평한 기준선을 이긴 것은 없었다. 가장 그럴듯했던 것은 artefact였다.
사람들이 실제로 테스트하지 않는 질문
작동하는 셋업을 가진 모든 리테일 트레이더는 같은 다음 질문을 한다. 어떻게 더 좋게 만들 것인가? 변동성 필터를 추가한다. 좋은 레짐에서 사이즈를 키운다. 지저분한 날은 건너뛴다. 공짜 돈처럼 느껴진다. 이미 edge가 있고, 그저 방향을 조정하는 것처럼 보이기 때문이다. 우리에게는 이 테스트를 가능하게 하는 드문 것이 있었다. 실제 비용 이후에도 이미 작동하는 브레이크아웃 시스템이다. 그래서 equity curve를 눈대중으로 보지 않고 실험을 제대로 돌렸다.
기본 시스템은 의도적으로 지루하다. 가장 decorrelated된 leg를 고르고, 평평하게 사이징하고, 보유한다. 레짐 영리함은 없다. 13년 중 매년 돈을 벌었다. 그런 다음 사람들이 흔히 집어 드는 필터로 하나씩 그것을 이기려 했다. 각 오버레이는 기본 시스템이 통과하는 동일한 세 가지 관문을 넘어야 했다. best-of-N placebo shuffle, look-ahead audit, 그리고 nested, rolling out-of-sample check. 같은 기준, 예외 없음.
무엇을 시도했고, 각각 어떻게 죽었나
규칙상 이름은 없다. 이는 독점 시스템이므로 전략, 바스켓, 티커는 없다. 아래는 필터 유형과 정확한 실패 방식이다. 어차피 그 부분이 유용하다.
| 오버레이 / knob (테스트한 것) | Placebo | 판정 | 실패한 이유 |
|---|---|---|---|
| 변동성-레짐 포지션 sizer | P100 | ARTEFACT | 순환적 — 수익률을 auto-correlated 변동성 항으로 나눴기 때문에 "regime"은 대략 1/자기 자신의 분모였다. FX에서는 tail-fragile |
| Range-width sizer (좁은 range에서 사이즈 확대) | — | FAILED | 한 instrument class 단독에서는 실제였지만, 바스켓에서는 whipsaw risk를 집중시켜 drawdown을 대략 두 배로 키웠다 |
| Whipsaw / 두 번째 break down-weighter | — | FAILED | 최악의 해를 약간 개선했지만 위험조정수익과 net을 낮췄다. 실제 구조지만 필터로는 수익화되지 않는다 |
| 두 오버레이를 쌓음 | — | WORST | 분산 누적 — 위험조정수익은 대략 3분의 2 하락했고 drawdown은 부풀었다 |
| Selection-config knobs (lookback, decorrelation, cadence, breadth) | — | NO GAIN | 현재 설정은 진짜 interior optimum이다. 짧은 lookback은 13년 동안 drawdown을 +44%에서 +109%까지 부풀렸다 |
| Options-gamma regime (same-day) | — | LOOK-AHEAD | 그날의 realized regime이 전날 밤 시작된 book으로 누출된다. 정직한 prior-day 버전은 아무것도 예측하지 못한다 |
| Options-gamma regime (intraday, at-entry) | P100 | WEAK / OPEN | look-ahead-safe이고 robust하지만 작다 (~+14% relative per-trade). 포트폴리오 이점은 아직 정량화 중이다 |
Placebo percentile은 오버레이가 자기 자신의 수천 개 shuffled-label 사본 대비 어디에 위치하는지다. P100은 모든 shuffle을 이겼다는 뜻이다. 하지만 vol-regime sizer가 보여주듯, 그것은 edge와 같지 않다.
승자처럼 보였던 하나
변동성-레짐 sizer가 유혹적이었다. 매년 유의미해 보였고 100th placebo percentile을 기록했다. 자기 자신의 모든 shuffled copy를 이겼다. 보통 날이라면 이것은 green light다. 여기서는 red flag였다. 효과가 너무 컸기 때문이다. 아홉 배를 넘는 headline lift가 사이징 조정에서 나와서는 안 된다. 숫자가 그렇게 좋으면 leak를 찾아야 한다.
leak는 산술이었다. sizer는 수익률을 그 수익률과 auto-correlated된 변동성 항으로 나눴고, 그래서 "regime signal"은 대략 자기 자신의 분모의 역수였다. 자기 자신을 측정하고 있었다. metals에서는 깨끗했고, energy에서는 noise였으며, FX에서는 tail-fragile이었다. 상위 5%의 날을 제거하면 부호가 뒤집혔다. 그것은 regime edge가 아니다. 완벽한 placebo score를 입은 divide-by-volatility circularity artefact다.
진짜 교훈: 필터는 대체로 분산을 더한다
10+개 오버레이 전체에서 나타난 패턴은 이렇다. 기본 시스템의 edge는 언제 거래할지에 대한 영리함에 있지 않다. 그것은 leg selection과 decorrelation, 즉 같은 날 모두 지지 않는 포지션을 고르는 데 있다. 우리가 더한 모든 필터는 그 베팅 위의 또 다른 베팅이었다. 그리고 베팅 위의 베팅은 edge를 복리로 키우지 않는다. noise를 복리로 키운다.
쌓아 올리면 이것이 잔인하게 드러났다. 가장 덜 나쁜 두 오버레이를 결합해도 두 개의 약한 tilt 평균이 나오지 않는다. 분산이 쌓인다. 위험조정수익은 대략 3분의 2 하락했고 drawdown은 부풀었다. Double-tilting은 double-jeopardy다. range-width sizer도 같은 이야기를 더 조용히 말했다. 단독 instrument class에서는 눈부셨지만, 바스켓 수준에서 살아남아야 하자 drawdown을 두 배로 만들었다. "좁을수록 좋다"는 mirage는 조용히 집중시키던 correlation을 무시했다.
config knobs조차 그렇게 말했다. selection lookback을 sweep하면 짧고 최근성에 가중된 설정은 최근 2년에서 훌륭해 보인다. 그런 다음 전체 13년에서는 drawdown을 +44%에서 +109%까지 부풀린다. 이는 교과서적 recency overfit이다. 시장의 가장 최근 성격이 다른 11년이 거부하는 parameter를 팔아넘긴 것이다. 중간 lookback은 모든 metric에서 더 짧은 것과 더 긴 것을 모두 이겼다. 현재 설정은 운 좋은 best-of-many pick이 아니다. 실제로 roll forward했을 때 버티는 interior optimum이다.
우리가 배운 단 하나의 깨끗한 것
audit가 비어 있던 것은 아니다. 가장 깨끗한 결과는 필터가 아니라 진단이었다. 시스템의 손실은 양방향을 모두 break하는 whipsaw ranges에 집중된다. 한쪽 방향 break는 확실히 양수였다. 첫 break 이후 반전되는 것이 주된 손실 원천이었다. 진짜 두 번째 break는 대략 flat이었다. 이는 모든 instrument class와 13년 전체에서 유지됐다. 시스템이 질 때 왜 지는지 설명하는 실제 structural signature다.
그것은 필터가 되기 직전처럼 보인다. whipsaw를 down-weight하면 된다고 생각할 수 있다. 우리는 시도했다. 최악의 해는 조금 개선했지만, 그 외 전부에서 위험조정수익과 net을 낮췄다. 실제 구조지만, 그것이 더하는 분산의 값을 치르고 나면 여전히 아무것도 하지 않는 것을 이기지 못한다. 손실 메커니즘을 아는 것은 가치가 크다. 하지만 그것은 피하면 돈을 주는 knob가 있다는 뜻과 같지 않다.
왜 이렇게 평평한 null을 믿는가
null은 테스트가 무언가를 찾을 수 있었을 때만 읽을 가치가 있다. 우리의 테스트는 그럴 수 있었다. 기본 시스템이 이 정확한 관문들을 통과하므로, 장비는 signal과 noise를 분명히 구분한다. 모든 오버레이는 위험조정수익(net over max drawdown), placebo percentile, 최악의 해로 판단했으며, fragile winner가 좋은 평균 뒤에 숨지 못하도록 tail을 별도로 확인했다. look-ahead audit가 same-day gamma regime이 어젯밤 열린 book으로 내일의 정보를 누출하는 것을 잡아냈다. 이런 종류의 look-ahead는 backtest를 fiction으로 만든다.
- "failed" overlay는 이 13년, 600,000건 이상 거래 book에서 robust improvement가 아니었다는 뜻이다. 그 아이디어가 모든 곳에서 불가능하다는 뜻은 아니다.
- 몇몇 오버레이는 비용 때문에 죽었다기보다 처음부터 real edge가 아니었다. 비용이 들어오기 전에도 자기 자신의 placebo를 이기지 못했다.
- 우리는 audit를 공개한다. 기본 시스템의 absolute numbers, config, composition은 공개하지 않는다. 필터가 도움이 되지 않는다는 것이 발견이다. edge 자체는 유료 제품이다.
우리의 테스트 방식
모든 것에 같은 pipeline을 적용한다. 시스템은 Python으로 port되고 실제 비용에 대해 실행된다. spreads와 commissions는 단순 추정치가 아니라 tick data에서 모델링한다. 선물은 13년의 CME data에서, FX는 tick-level bid/ask에서, crypto는 spot과 perps로 가져온다. 빠른 모델이 bulk porting을 수행하고, 가장 강한 모델이 모든 apparent winner를 깨려 하며 look-ahead와 impossible fills를 찾는다. 우리가 테스트하는 리테일 전략의 대략 78%를 reject하는 바로 그 과정이다. 그리고 여기서는 안쪽으로 돌려, 이미 작동하던 시스템에 붙이려 한 모든 필터를 reject했다. 불편한 정직성은 양쪽으로 작동한다.
리서치와 교육이며, financial advice가 아니다. signals 없음, return promises 없음. 독립적이며 TradingView와 제휴하지 않았다.
이름이 붙은 판정을 원하는가?
이 페이지는 방법을 제공한다. 작동하는 시스템에서 어떤 필터가 죽는지, 정확히 어떻게 죽는지다. 제공하지 않는 것은 roster다. 우리가 audit한 모든 strategy와 indicator의 이름, 판정, 그리고 살아남거나 죽은 정확한 이유. 그것이 The No List다.
The No List 받기 → 또는 Discord 먼저 참여하기 →FAQ
필터를 추가하면 작동하는 브레이크아웃 시스템을 더 좋게 만들 수 있는가?
우리 테스트에서는 아니다. 우리는 비용 이후에도 이미 작동하는 브레이크아웃 시스템에서 10+개의 사이징 및 레짐 필터를 스트레스 테스트했다. placebo shuffle, look-ahead audit, rolling out-of-sample을 각각 통과해야 했을 때 단순한 평평한 기준선을 이긴 것은 0개였다. 이미 정직한 시스템에서는 필터가 대체로 분산만 더한다.
최고 필터가 100th placebo percentile을 기록했다. 그것은 real edge가 아니었나?
아니다. 그것이 교훈이다. 최고 점수 오버레이는 자기 자신의 모든 shuffled copy를 이겼지만, 효과는 divide-by-volatility circularity artefact였다. 수익률을 그 수익률과 auto-correlated된 항으로 나눴기 때문에 자기 자신을 측정하고 있었다. 아홉 배를 넘는 headline lift는 green light가 아니라 red flag다.
두 필터를 함께 쌓으면 어떤가?
가장 나빴다. 가장 덜 나쁜 두 오버레이를 결합해도 tilt가 평균화되지 않았다. 분산이 쌓였다. 위험조정수익은 대략 3분의 2 하락했고 drawdown은 부풀었다. Double-tilting은 double-jeopardy다.
필터가 도움이 되지 않는다면 edge는 어디에서 오는가?
Leg selection과 decorrelation, 즉 같은 날 모두 지지 않는 포지션을 보유하는 데서 온다. timing filters에서 오지 않는다. 기본 시스템은 flat으로 사이징하고 가장 decorrelated된 legs를 고른다. 그 위에 더한 모든 필터는 bet 위의 bet였고, edge가 아니라 noise를 복리로 키웠다.
"failed" filter는 그 아이디어가 어디에서도 절대 작동하지 않는다는 뜻인가?
아니다. 우리의 관문 아래에서 이 13년, 600,000건 이상 거래 book에 대한 robust improvement가 아니었다는 뜻이다. 일부 오버레이는 비용 때문에 죽은 것이라기보다 처음부터 real edge가 아니었다. 비용이 들어오기 전에도 자기 자신의 placebo를 이기지 못했다. 이 data와 window에서의 null은 불가능성의 증명이 아니다.