A/B 테스트

 

 

---

 

목차

 

1. A/B 테스트란?

2. A/B 테스트 설계하기

3. A/B 테스트 분석하기

4. A/B 테스트 주의사항

 

---

 

 

 

 

1. A/B 테스트란?

 

A/B 테스트란?

두 가지 이상의 버전(A와 B)을 비교해 실험하는 그로스 해킹 방법론

 

A/B 테스트 사례

① 아마존의 페이지 width 테스트

(A) Full Width Layout

(B) Fixed Width Layout

→  width를 제한하고 여백을 두었을 때 콘텐츠를 더 읽기 편하다.

 

② 에어비앤비의 랜딩 페이지 full height 테스트

(A) 랜딩 페이지가 숙소 이미지로 채워져 있는 경우

(B) 랜딩 페이지의 숙소 이미지 크기를 줄이고, 설명이 적혀있는 경우

→  설명을 바로 접할 수 있는 경우가 더 효과가 좋았다.

 

③ 구글의 탭메뉴 아이콘 여부

(A) 검색창 메뉴 명칭만 사용한 경우

(B) 검색창 메뉴 명칭을 아이콘과 함께 사용한 경우

→  아이콘을 포함한 것이 훨씬 더 직관적이고 효과가 좋았다.

 

 

 

 

2. A/B 테스트 설계하기

 

●  가설 세우기

  ▷ Root cause 가설 

     추가 조사를 위한 시작점을 찾는다.

  ▷ Solution 가설

     Root cause를 없앨 수 있는 아이디어를 찾는다.

 

●  실험집단 / 통제집단

  ▷ 실험집단: 연구자가 보고 싶은 처치 된 집단

  ▷ 통제집단: 대조하기 위해서 기본상태로 놓아둔 집단

  실험집단과 통제집단을 어떤 기준으로 어떤 비율로 할당할 것인지 정의한다.

  ※  랜덤추출: 통제 변수가 잘 관리되었다는 전제로 모든 표본이 동일한 확률을 가진 상태에서 뽑는 무작위 추출

  ※  독립변수 이외에 종속변수에 영향을 미칠 것으로 보이는 변수를 통제하지 않으면 랜덤추출이 되지 않을 수 있다.

 

●  독립변수 / 종속변수

  ▷ 독립변수: 종속 변수에 영향을 줄 것으로 기대되는 변수

  ▷ 종속변수: 독립 변수에 의해 영향을 받을 것으로 기대되는 변수

 

●  통제변수

  ▷ 통제변수: 독립변수가 아니지만 종속변수에 영향을 미칠 수 있는 변수

  

●  샘플 크기

  가설, 검정력, 유의수준 등 실험 설계 조건으로부터 샘플 수를 계산한다.

 

●  실험기간

  샘플 크기를 고려했을 때, 가설 검증을 위한 데이터를 수집하는데 필요한 기간을 정의한다.

 

 

 

 

3. A/B 테스트 분석하기

 

p-value

귀무가설 하에서 관찰된 검정통계량만큼의 극단적인 값이 관찰될 확률.

귀무가설이 맞다고 가정할 때, 얻은 결과보다 극단적인 결과가 실제로 관측될 확률.

p-value가 특정 값(대개 0.05나 0.01 등) 보다 작을 경우 귀무가설을 기각한다.

 

A/B 테스트 계산기

▷ 종속변수가 범주형일 경우

https://www.evanmiller.org/ab-testing/chi-squared.html

Chi-Squared Test

https://www.abtestcalculator.com/

A/B Test Calculator

▷ 종속변수가 이산형일 경우

https://www.evanmiller.org/ab-testing/t-test.html

Two-Sample T-Test

https://mathcracker.com/t-test-for-two-means

T-test for two Means - Unknown Population Standard Deviations - MathCracker.com

 

 

 

 

4. A/B 테스트 주의사항

 

• 모든 실험 설계는 가설에 근거해서 진행해야 한다.
• 가설에서 정의한 독립변수 외에 종속변수에 영향을 미치는 다른 변수가 없는지 확인해야 한다.
• 평균 외에도 분포, 유의수준, 효과 크기 등을 종합적으로 고려하여 판단해야 한다.
• p값의 변화를 살펴보고 있다가 0.05 이하로 내려가는 시점에 갑자기 실험을 중단해서는 안된다.
• 시간의 흐름에 따른 종속변수의 변화도 살펴봐야 한다.
• A/B 테스트 결과는 언제든지 달라질 수 있다.
• A/B 테스트는 전역 최적화가 아닌 국지적 최적화를 찾는 실험이라는 것을 명심해야 한다.

 

 

 

 

---

정리

 

① A/B 테스트란 두 가지 이상의 버전(A와 B)을 비교해 실험하는 그로스 해킹 방법론

② A/B 테스트 설계하기 (가설, 실험집단/통제집단, 독립변수/종속변수, 통제변수, 샘플크기, 실험기간)

③ A/B 테스트 분석하기 (p-value, 계산기 활용)

④ 주의사항 (무가설, 통제변수 관리 실패, 단순 평균 비교, 엿보기+조기중지 등)

 

 

 

 

---

참고

 

(도서) 양승화, 그로스 해킹, 위키북스

(인터넷 자료)

• https://elice.io/newsroom/abtest
• https://brunch.co.kr/@digitalnative/17
• https://brunch.co.kr/@hsso/8
• https://namu.wiki/w/%ED%86%B5%EC%A0%9C%EC%A7%91%EB%8B%A8%EA%B3%BC%20%EC%8B%A4%ED%97%98%EC%A7%91%EB%8B%A8