백테스트 결과 보는 법: 꼭 확인할 8가지
백테스트는 "이 규칙대로 과거에 거래했다면 어땠을까"를 계산한 결과예요. 매끈한 수익 곡선 한 장만 보고 판단하면 쉽게 속아요. 이 글은 비용과 체결, 거래 수, 기간과 장세, 최대 낙폭, 표본 안·밖, 과최적화, 선택 편향, 포지션 크기까지 8가지를 확인 순서대로 정리하고, 마지막에 한 장짜리 체크리스트를 드려요.
비용과 체결 가정부터 보세요
비용을 빼고 계산한 백테스트는 거의 항상 좋아 보여요. 네 가지를 확인하세요.
- 수수료: 사고팔 때마다 붙어요. 가상의 조건으로 왕복 수수료가 0.1%이고 1년에 200번 거래한다면, 비용만 단순 합산으로 20%포인트쯤 돼요. 시장가 주문은 지정가보다 수수료가 비싼 경우가 많으니 어떤 주문을 가정했는지도 보세요.
- 슬리피지: 신호가 나온 가격과 실제 체결된 가격의 차이예요. 급하게 움직이는 구간이나 거래량이 적은 코인에서 커져요.
- 펀딩비: 무기한 선물에서 포지션을 들고 있는 동안 정기적으로 주고받는 돈이에요. 오래 보유하는 선물 전략이라면 반드시 들어가야 해요. 개념은 청산·마진·펀딩비 정리에 있어요.
- 체결 가정: 신호가 난 봉의 종가에 샀다고 보는지, 다음 봉에 샀다고 보는지 확인하세요. 봉이 끝나야 알 수 있는 값을 봉 중간에 안 것처럼 계산하면(미래 정보 사용) 결과가 비현실적으로 좋아져요. 상위 시간봉 값을 끌어다 쓰는 지표에서 특히 흔한 실수예요.
Pullwave의 백테스트에는 수수료가 반영돼 있고, 선물은 펀딩비와 슬리피지까지 넣었어요. 현물 백테스트는 슬리피지를 넣지 않았으므로, 실제 체결은 그보다 조금 불리할 수 있다고 보고 읽어 주세요.
거래 수와 기간: 표본이 충분한가
거래가 20번뿐이면 결과가 운에 크게 흔들려요. 동전을 20번 던져도 앞면이 14번 이상 나올 확률이 약 6%예요. 전략을 여러 개 시험하면 그중 하나쯤은 운만으로 그럴듯한 결과를 내요. 거래 수가 수백 번은 돼야 규칙의 성질이 조금씩 드러나요. 트레이딩뷰도 전략 스크립트를 공개 게시할 때 대체로 거래 100건을 넘는 결과를 요구해요. 참고로 트레이딩뷰 전략 테스터는 요금제에 따라 불러오는 과거 봉 수가 달라서, 같은 설정이라도 계정마다 테스트 기간과 거래 수가 다르게 나올 수 있어요.
거래 수가 많아도 한 코인, 한 시기에 몰려 있다면 표본이 적은 것과 비슷해요. 거래 내역을 볼 수 있다면 가장 큰 이익 몇 건을 빼고도 결과가 유지되는지 확인해 보세요. 소수의 큰 이익에 기대는 전략은 그 몇 번을 놓치면 결과가 크게 달라져요. 기간은 길이보다 내용이 중요해요. 한 방향으로 오르기만 한 기간이라면 대부분의 매수 전략이 좋아 보여요. 상승장, 횡보장, 하락장이 모두 들어 있는지, 큰 폭락 구간을 지나왔는지 확인하세요. 장세별로 전략이 어떻게 달라지는지는 상승장·횡보장·하락장 글에서 다뤘어요.
최대 낙폭: 수익보다 먼저 볼 숫자
최대 낙폭(MDD)은 계좌가 가장 높았던 지점에서 가장 크게 떨어진 폭이에요. 수익 숫자보다 이걸 먼저 보는 이유는 손실을 메우는 산수가 불리하기 때문이에요. 50%를 잃으면 본전까지 +100%가 필요해요.
- 무엇을 기준으로 쟀나: 시작 금액 대비인지, 고점 대비인지, 배정 금액 대비인지에 따라 같은 하락도 숫자가 달라요.
- 어떤 손익으로 쟀나: 닫힌 거래만으로 계산했는지, 들고 있는 포지션의 평가손익까지 넣었는지에 따라 낙폭이 달라져요. 평가손익을 넣은 쪽이 실제로 겪는 하락에 가까워요.
- 얼마나 오래 갔나: 고점을 다시 넘기까지 몇 달 걸렸는지도 봐야 해요. 긴 낙폭 기간은 실제로 견디기 어려워요.
- 레버리지가 있나: 레버리지나 추가 진입이 있으면 낙폭이 배정 금액의 100%를 넘을 수도 있어요.
자세한 계산은 최대 낙폭(MDD) 설명을 참고하세요.
표본 안과 밖, 그리고 과최적화
설정 숫자를 고를 때 본 데이터에서 낸 성과를 표본 안(in-sample) 성과라고 해요. 설정을 고를 때 보지 않은 데이터에서 낸 성과는 표본 밖(out-of-sample) 성과예요. 표본 안 성과는 답을 보고 푼 시험 점수와 비슷해서, 앞으로는 대개 그보다 나빠요. 수수료 체계, 코인의 유동성, 시장 참여자가 바뀌면 과거에 통하던 규칙이 약해지기도 해요. 기간을 나눠 앞부분에서 설정을 고르고 뒷부분에서 확인하는 일을 여러 번 반복하면 조금 더 믿을 만한 그림을 얻을 수 있어요.
과최적화는 설정을 과거에 지나치게 딱 맞춘 상태예요. 이런 징후가 보이면 의심하세요.
- 설정 숫자가 유난히 정밀하고(예: 43봉, 3.7%), 그 값에서만 결과가 좋아요.
- 조건이 너무 많아서 거래가 몇 번 안 나와요.
- 설정을 조금만 바꿔도 결과가 크게 무너져요.
튼튼한 규칙은 주변 설정에서도 결과가 비슷하고, 다른 기간이나 다른 코인에서도 성질이 크게 변하지 않아요. Pullwave의 결과도 과거 데이터를 보고 설정을 다듬은 표본 안 성과라서, 앞으로는 더 나쁠 수 있다는 점을 밝혀 둬요.
선택 편향과 포지션 크기
선택 편향은 여러 코인과 설정을 돌려 본 뒤 잘 나온 것만 보여 주는 거예요. 가상의 예로 50개 코인을 시험해 가장 좋은 3개만 보여 주면, 그 결과는 실력보다 운에 가까워요. 지금 거래되는 코인만으로 시험하면 사라진 코인이 빠져서 결과가 좋아 보이는 생존 편향도 있어요. "전체 몇 개 중 몇 개를 보여 주는가, 나머지는 어땠나"를 물어보세요. 시작 날짜도 고를 수 있는 변수예요. 바닥 근처에서 시작하면 결과가 좋아 보이므로, 시작일을 몇 달씩 옮겨도 결과의 성질이 비슷한지 보세요.
포지션 크기도 숫자를 크게 바꿔요.
- 번 돈을 계속 다시 거는 복리 계산이면 숫자가 매우 커 보여요. 실제로 그렇게 굴릴지 생각해 보세요.
- 한 번에 거는 크기가 자본의 몇 %인지, 추가 진입까지 합치면 최대 얼마까지 노출되는지 확인하세요.
- 투입 금액을 고정한 결과와 복리 결과를 구분해서 보세요.
- 레버리지를 썼다면 청산이 계산에 들어갔는지 확인하세요. 청산 없이 계산한 백테스트는 실제라면 도중에 끝났을 구간을 이어서 보여 줄 수 있어요.
한 장짜리 체크리스트
| 항목 | 확인 질문 | 경고 신호 |
|---|---|---|
| 비용·체결 | 수수료·슬리피지·펀딩비와 체결 시점이 현실적인가 | 비용 언급이 없거나 봉 중간 체결 가정 |
| 거래 수 | 표본이 수백 번 단위인가 | 수십 번 이하 |
| 기간·장세 | 상승·횡보·하락이 모두 있나 | 한 방향 장세만 있음 |
| 최대 낙폭 | 기준과 기간이 적혀 있나 | 낙폭을 숨기거나 기준이 없음 |
| 표본 안·밖 | 설정을 고른 기간이 어디인가 | 구분 설명이 없음 |
| 과최적화 | 주변 설정도 비슷한가 | 설정이 지나치게 정밀함 |
| 선택 편향 | 전체 중 몇 개를 보여 주나 | 잘 나온 것만 제시 |
| 포지션 크기 | 고정 금액인가 복리인가 | 복리 숫자만 강조 |
Pullwave는 백테스트와 거래 내역을 하나하나 모두 사이트에 공개해요. 위 체크리스트로 성과 페이지를 직접 따져 보셔도 좋아요.
자주 묻는 질문
Q. 승률이 높으면 좋은 전략인가요?
승률만으로는 알 수 없어요. 작은 이익을 여러 번 내다가 큰 손실 한 번으로 모두 잃는 전략도 승률은 높게 나와요. 평균 이익과 평균 손실의 비율, 최대 낙폭을 함께 보세요. 총이익을 총손실로 나눈 손익비(Profit Factor)가 1보다 얼마나 큰지도 좋은 참고가 돼요.
Q. 백테스트와 실제 결과는 왜 다르게 나오나요?
체결 가격 차이, 실제 수수료, 신호를 늦게 보거나 놓치는 사람의 실행 차이가 쌓이기 때문이에요. 여기에 표본 안 성과라는 한계까지 더해져 실제 결과는 대개 백테스트보다 불리해요.
Q. 기간은 얼마나 길어야 하나요?
정해진 답은 없지만 상승·횡보·하락이 모두 들어갈 만큼은 돼야 해요. 몇 달짜리 결과는 한 가지 장세만 담고 있는 경우가 많아요.
Q. 수익 곡선이 매끈할수록 좋은 건가요?
지나치게 매끈하다면 오히려 의심해 보세요. 비용이 빠졌거나 과거에 과하게 맞춘 설정일 수 있어요. 실제 거래의 곡선은 손실 구간이 섞여 울퉁불퉁한 게 보통이에요.
Q. 표본 밖 검증을 했다면 믿어도 되나요?
훨씬 낫지만 그 역시 과거예요. 표본 밖 결과를 보고 설정을 다시 고쳤다면 그 기간도 표본 안이 되어 버린다는 점을 기억하세요.
안내: 이 글은 교육 목적의 일반 정보이며 투자 권유가 아닙니다. 과거 백테스트 결과는 과거 데이터일 뿐 미래 수익을 보장하지 않습니다. 선물은 청산될 수 있고 투자 원금을 잃을 수 있습니다. 소액으로 시작하세요.