성능지표의 중요성

2010년 11월의 글이다.

1.

흔히들 %win(승률), payoff, profit factor, average trade(거래당 평균수익) 이나 
sharpe ratio, sortino ratio, ROA 등의 HTS나 tradestation같은데서 제공되는 항목을 본다. 
여러가지 항목을 엮어서 쓰는 지표들도 있다. 
예를 들면, 승률과 뭐와 뭐를 일정 비율로 곱하고 빼고 해서 나오는 Ablesys index같은게 있다. 
내 생각엔 나쁜 방식이다.

성능지표란 말 그대로 성능에 대한 측정이 가능한 것이여야 한다. 
승률이 높으면 좋다? 물론 좋다. 
거래당 평균수익이 높으면 좋다? 나쁠 이유가 없다. 
그런데 '성능'이 승률이나 거래당 평균수익과 무슨 관계가 있는지를 보는 것이 우선이다. 
그러면 일단 무엇을 '성능' 이라고 정의할지 결정해야 한다.
성능지표는 기본적으로 reward/risk (보상/위험) 의 형태를 띄어야 한다. 
그러면 일단 뭐가 보상이고, 뭐가 위험인지를 정해야 한다.

나는 sharpe ratio를 싫어하지만,  
수익(초과수익)/위험(변동성) 이라는 구조로 되어있기 때문에 그나마 괜찮다. 
여기서 변동성을 위험이라고 정의하는게 문제점이지만, 
'아 나는 변동성은 그냥 다 싫어. 나한테는 변동성 자체가 위험이야' 라고 
생각하는 사람들에게는 위험이라고 할수도 있다. 
초과수익을 보상이라고 정의하는 것도 문제다. 
왜 그냥 수익이 아니고, 초과수익일까? 
'나는 다른 사람들보다(혹은 다른 투자수단보다) 많이 버는게 보상이야' 라고 생각하는 
사람들에게는 초과수익이 보상이다.

그러면 무엇을 '보상' 이라고 보고, 무엇을 '위험' 이라고 봐야될까? 
보상과 위험이 주관적이기에, 성능지표 또한 지극히 주관적인 영역이다.
각자가 자신이 생각하는 보상과 위험을 정의해야 한다.
자신이 가지고 있는 돈, 자신이 가장 싫어하는 상황, 자신이 가장 좋아하는 상황을 정의해야한다.
일반적으로 TS등의 리포트에 뜨는 성능지표를 쓸 때의 가장 큰 맹점은 
그것들이 각 개인들을 위해 만들어진 지표가 아니라는데 있다.

이기는 거래가 보상이고, 지는 거래가 위험이라고 생각하는 사람이 있다면, 
('나는 이기면 기분이 좋고, 지면 기분이 나빠') 
이 사람은 승률/(1-승률) 을 성능지표로 사용해야한다. 
하지만 이 경우에 자신의 기분을 좋게 하는데는 최적의 지표지만, 수익성과는 아마 큰 관계가 없을 것이다.

거래당평균수익을 보상이고, 최대손실이 위험이라고 생각하는 사람이 있다면, 
('나는 평균적으로 많이 따면 좋고, 최대한으로 잃는 돈이 위험같아') 
이 사람은 거래당평균수익/최대손실 을 성능지표로 사용하면 된다. 
그리고나서 자신의 성능지표를 최대화하는 방향으로 시스템을 개발하면 
가장 자신의 취향에 맞는 시스템이 탄생한다.

2.

여러개의 지표를 참고하면 이런 문제가 있다. 
2개의 시스템을 비교한다고 하면, 
A 시스템이 승률이 더 높고 B시스템이 평균손익이 더 좋은 경우, 어떤 것이 '더 좋은' 시스템인가? 
결정할 수가 없다.
성능을 측정하는 지표는 단 하나만 있어야 한다. 
그렇지 않으면 비교할 수 없다.

A 시스템에 어떤 요소를 더해서 승률이 높아졌는데, PF는 떨어졌다고 하면, 
이것을 넣는게 좋은가, 안넣는게 좋은가? 
결정할 수 없다.

머니볼에도 비슷한 얘기가 나온다. 
타자 A는 타율이 0.300 이고 경기당 평균 1타점을 친다. 
타자 B는 타율이 0.270 이고 경기당 평균 1.2타점을 친다. 
어떤 타자가 '더 좋은' 타자인가? 
결정할 수 없다. 
'어떤 타자가 게임을 이기는데 가장 좋은 타자인가' 라는 
문제에 대해서 명확하게 이야기해줄 수 있는 단 하나의 지표가 없다면, 
어떤 타자가 더 좋은 타자인지 알 수도 없거니와, 결정할 수도 없다.

여러가지 지표에 가중을 두어서 결과값을 지표로 사용하는 형식은 더 문제가 많다.
Ablesys index라는 지표는, 승률 * payoff * PF 이다. 
근본적인 문제는, 이 수식은 많은 가정을 포함한다는데 있다. 
승률과 payoff 와 PF가 왜 각각 성능지표에 대해 동일한 가중으로 선형적인 관계를 가지는가? 
그리고, 저 수식에 포함되어 있지 않은 MDD가 5배가 되었는데 Ablesys index가 2배 증가하면, 
이것은 좋은건가, 나쁜건가? 
알 수 없다.

3.

나는, 개인투자자라면 각자의 취향에 맞춘 각자의 성능지표를 사용해야 한다고 생각한다.
그리고 그 성능지표는 자기자신을 아주 잘 반영해야 하며, 단 하나만 존재해야 한다.

니체의 말

"
먼저 가치라는 것을 평가하지 않고서는 그 어떤 민족도 살아남을 수 없을 것이다. 
그리고 살아남으려면 이웃 민족이 하듯 그런식으로 가치를 평가해서는 안된다 
"
이렇듯 사람들은 그들 자신에게 일체의 선과 악을 부여해왔다. 
선과 악, 그것은 그들이 어느 누구로부터 받아들인 것도, 
하늘의 음성으로부터 하늘에서 떨어진 것도 아니다. 
"
형제들이여, 그대들 자신의 길을 각자 걷도록 하라. 
왜냐하면 모든 사람이 걸어야 하는 단 하나의 길이란 애초에 존재하지 않기 때문이다
"