올바른 '지표' 활용법

 

 

---

 

목차

 

1. 지표 명확하게 정의하기

2. 부분이 아닌 전체 관점으로 바라보기 

3. 데이터 쪼개서 확인하기

4. 올바른 대푯값 사용하기

5. OMTM

 

---

 

 

 

 

1. 지표 명확하게 정의하기

 

우리 서비스가 건강하게 성장하는지 확인할 수 있는 여러 가지 지표가 존재한다.

하지만, 모든 고객들이 같은 경로와 같은 방법으로 우리 서비스를 이용하는 것이 아니기 때문에

우리가 얻고자 하는 정보를 얻기 위해서 구체적으로 어떤 데이터를 어떻게 가공하여 어떤 방법으로

지표를 추출할 것인지 명확하게 정의할 필요가 있다.

 

(예시)  MAU를 측정하는 다양한 방법

MAU(Monthly Active User):  한 달 동안 우리 서비스의 사용자 수를 나타내는 지표

(1) 한 달 동안 우리 서비스에 로그인한 사용자 수

(2) 한 달 동안 우리 서비스에 방문한 모든 사용자 수

(3) 앱과 웹을 모두 방문한 사용자는 1명으로 취급

(4) 앱과 웹을 모두 방문한 사용자는 2명으로 취급

...

 

이처럼 간단히 사용자 수를 측정할 때에도 로그인까지 한 사용자만 인정할 것인지,

로그인까지 하지 않더라도 방문만 하면 우리 서비스를 사용했다고 인정할 것인지,

앱과 웹을 모두 사용한 경우 어떻게 처리할 것인지 등...

각 지표를 측정할 때, 다양한 경우의 수가 존재하기 때문에

얻고자 하는 정보를 가장 잘 나타낼 수 있는 지표의 명확한 기준을 정해야 한다.

 

 

 

 

2. 부분이 아닌 전체 관점으로 바라보기

 

지표를 확인하고 이 지표를 개선하기 위한 여러 활동을 시도해 보게 될 것이다.

이때, 가장 주의해야 할 점은 부분적인 지표의 값만을 가지고 판단해서는 안된다는 것이다.

부분의 지표 값에만 매몰되면 실제 필요로 하는 전체적인 최적화를 놓칠 수 있다.

 

(예시)  배너 광고  vs  인스타그램 광고

구분	배너 광고	인스타그램 광고
특징	싼 가격 기사를 읽기 위해 광고를 닫으려다가 실수로 클릭할 확률이 높음	비싼 가격 실제로 광고 내용에 관심이 있어 클릭할 확률이 높음

 

이처럼 광고의 성과를 판단할 때 클릭 수에만 매몰되면, 왜곡된 결과를 얻을 수도 있다.

인스타그램 광고의 경우 실제로 관심이 있어 클릭을 하는 경우가 대부분인 반면,

배너 광고는 기사의 내용을 가려서 닫으려다가 실수로 클릭하는 경우가 많을 것으로 예상된다.

따라서 클릭 수가 높은 배너 광고가 인스타그램의 광고보다 높은 성과를 보인다고 판단하는 것은

부분 관점에서의 최적화에 따른 잘못된 판단이라고 할 수 있다.

 

 

 

 

3. 데이터 쪼개서 확인하기

 

심슨의 역설(Simpson's paradox)이란?

데이터의 세부 그룹별로 일정한 추세나 경향성이 나타나지만,

전체적으로 보면 그 추세가 사라지거나 반대 방향의 경향성을 나타내는 현상

 

(예시)  신장결석 치료법

	치료법 A	치료법 B
작은 결석	93% (81/87)	87% (234/270)
큰 결석	73% (192/263)	69% (55/80)
전체	78% (273/350)	83% (289/350)

결석의 크기를 구분하지 않고 전체적으로 봤을 땐, 치료법 B의 성공률이 높다.

하지만 작은 결석과 큰 결석으로 쪼개서 봤을 땐, 모두 치료법 A의 성공률이 높다.

결석의 크기가 치료법 성공률에 영향을 미치고 있다.

 

이처럼 전체의 값과 세부적인 값이 반대가 되는 경우가 발생할 수도 있다.

따라서, 전체의 지표 값만 확인하고 성급한 판단을 내리기 전에

데이터를 쪼개서 상황을 확인해 보는 과정도 필요하다.

 

 

 

 

4. 올바른 대푯값 사용하기

 

대푯값으로 가장 보편적으로 사용되는 값은 '평균'이다.

하지만, 평균은 극단적인 값에 매우 민감하게 반응하기 때문에 주의해야 한다.

 

CASE 1

20

20

20

20

20

500

600/6 = 100

대부분 20의 값을 가졌지만, 극단적인 값인 500에 의해 평균값이 20보다 훨씬 큰 값인 100이 되었다.

이때, 평균은 해당 데이터를 대표는 수치라고 하기 어려워 보인다.

CASE 2

100

100

100

100

100

100

600/6 = 100

모두 100의 값을 가졌기 때문에 평균값은 100이 되었다.

이때, 평균은 해당 데이터를 대표하는 수치라고 할 수 있다.

 

위의 예시와 같이 '평균'은 이상치에 민감하게 반응하기 때문에,

이상치가 존재하는 분포의 경우 '평균'보다 '중앙값'을 대푯값으로 사용하는 것이 더 타당하다.

대푯값은 다량의 데이터를 하나의 수치로 축약하는 것이기에

편향되고 실제와 다르게 왜곡된 대푯값을 얻지 않기 위해서는

먼저 데이터의 분포를 확인하고 어떤 대표값을 사용할지 신중하게 결정해야 한다.

 

 

 

 

5. OMTM

 

OMTM(One Metric That Matters)이란?

• 지금 가장 중요한 한 가지 지표
• 구성원 모두가 공유하는 하나의 목표

 

OMTM  vs  KPI

OMTM	KPI
성장을 목표로 하는 지표 결과뿐만 아니라 과정도 중요 모두가 공유하는 하나의 목표 서비스 성장 속도에 따라 변경	평가를 위해 활용하는 지표 달성 여부 자체가 중요 부서별로 다르게 설정 거의 바뀌지 않음

 

OMTM  vs  OKR

OMTM	OKR
성장을 목표로 하는 지표 결과뿐만 아니라 과정도 중요 모두가 공유하는 하나의 목표 서비스 성장 속도에 따라 변경	목표와 목표당 핵심 결과로 구성 목표는 어려운 수준으로 설정 중요한 목표에 전사적인 자원을 집중 개개인의 자율성과 투명한 공유 환경을 중시

 

 

 

 

---

정리

 

① 명확한 기준을 설정하여 지표를 정의해야 한다.

② 부분이 아닌 전체적인 관점에서 최적화를 해야 한다.

③ 데이터는 쪼개서 확인해야 한다. (← 심슨의 역설)

④ 데이터 분포를 먼저 확인하여 대표값 선정에 신중해야 한다.

⑤ OMTM: 지금 가장 중요한 한 가지 지표

 

 

 

 

---

참고

 

(도서) 양승화, 그로스 해킹, 위키북스

(인터넷 자료)

• https://ko.wikipedia.org/wiki/%EC%8B%AC%EC%8A%A8%EC%9D%98_%EC%97%AD%EC%84%A4
• https://brunch.co.kr/@leoyang99/1