A/B 테스트란 무엇이며 결과를 어떻게 해석해야 할까?

A/B 테스트 관련 아티클을 재구성한 글입니다. 
참고한 아티클의 링크는 포스팅 가장 하단에 있습니다! 

---

1. AB 테스트란? 

기존 요소가 포함되어있는 A안과, 특정 요소를 변형한 B안을 비교해서 어떤 게 나은지 결정하는 실험입니다. 

이때 A안 = 실험군, B안 = 대조군이며, 각 안을 경험하게 될 유저는 random하게 선택됩니다. 

 

출처: https://www.optimizely.com/optimization-glossary/ab-testing/

 

실험에 필요한 지표 

지표	설명
성공 지표	실험의 성공 여부 결정 ex) 구매 완료 전환율?
가드레일 지표	실험 수행 중 가드레일 지표가 일정 수준에 도달하면 중지해야 함
서포트 지표	성공지표, 가드레일 지표 보완 - 실험 결과를 더 정확히 이해하기 위함
MDE	실험에서 얻을 수 있는 최소한의 효과 크기 <- 실험에 필요한 샘플 크기 결정

 

실험 프로세스 

가설 설정 -> 실험 설계 -> 실험 진행 -> 실험 결과 분석/실험 리뷰 의 과정으로 진행됩니다. 

1)  가설 설정: 실무에서 풀어야할 문제와 이에 따른 가설을 정의합니다.

2) 실험 설계: 실험군과 대조군의 비율 설정, 실험 기간 설정, 목표 지표 설정과 같이 실험의 나침반을 제시할 가장 중요한 단계입니다. 실험 싸이클이 빠른 조직일 경우, 실험 기간은 1~2주내로 빠르게 실행됩니다.

3) 실험 결과 분석/실험 리뷰: 실험 리뷰는 실험 결과를 분석하고 실험을 통해 얻은 효과를 리뷰합니다. 더 나아가 다음에 진행할 Action과 의사결정 Next Step에 대해 논의합니다.

출처: https://url.kr/7ghab8

 

알아두면 좋은 통계 용어 

• 귀무가설: 일반적인 사실, 또는 우리가 실험에서 틀리길 바라는 가설
• 대립가설: 실험에서 맞다고 입증하려는 가설  
  • 귀무가설 채택 시 -> 차이가 없다 
  • 대립가설 채택 시 -> 통계적으로 차이가 있다 
• p-value: 귀무가설이 맞다는 가정에서, 귀무가설을 지지하는 결과가 나올 확률 
  • 따라서, p-value < 0.05이면 귀무가설 기각 후 대립가설 채택 
• 가설검정(t-test): 두 그룹 간의 차이가 통계적으로 유의미한지 검정 
  • ex) 두 그룹 간 평균값이 다른지 검정 
  • t-test 결과 귀무가설이 기각되면 두 그룹간 차이는 통계적으로 유의미 

 

참고) AB Test 결과 해석 Decision Tree 

출처: https://url.kr/dt61sx

---

2. AB 테스트 결과를 해석할 때는? 

AB 테스트가 진행되고 나면, 데이터 분석가는 AB 테스트 각 그룹의 결과를 분석하고 비교합니다. 

최종 목표는, 'A안과 B안 중 어떤 것을 최종적으로 반영해야 하는지 결정하는 것'입니다. 

 

※ 다음의 예시는 기획자 연주리 님의 글을 참고했습니다. 

 

AB 테스트 프로세스 중 첫번째, 1. 가설 설정 단계 에서 다음과 같은 가설을 설정하게 됩니다. 

(가설 예시) 홈페이지에 있는 00 버튼의 색상을 핑크에서 오렌지로 바꾸면 버튼을 누르는 사람이 더 많아질 것이다. 

---

다음 단계로, 2. 실험 설계를 진행합니다. 

 

즉, A안 = 00 버튼의 색상이 핑크 / B안 = 00 버튼의 색상이 오렌지 이며, 

성공 지표 = 클릭 건수 보다는 전환율(%)로 정할 수 있습니다. 

[측정 기준] 
- '클릭 건수'가 아닌 '전환율'로 

- 서비스의 사용성을 측정할 때는 Page View(CTR) 
- 전체적인 영향을 측정할 때는 Unique VIsitor (CTP) <- 지금의 상황과 같이, 서비스의 다음단계로 가는 비율을 알고 싶을 때 

추가로, 실험을 진행할 sample size나 실험 진행 기간 등을 설정하면서 실험 계획을 하게 될 것입니다. 

신뢰할 만한 sample size는 sample size calculator에서 계산할 수 있습니다! 

---

실험 계획에 따라 실험을 진행하고, 완료했다고 하고.. 

---

 

마지막 단계로 실험 결과 분석/실험 리뷰를 진행합니다. 

 

이때 가설검증(t-test)를 진행하게 됩니다. 

전환율을 성공 지표로 삼았으니, A안과 B안의 전환율 결과가 다음과 같이 나왔다고 가정합니다. 

 

 

다음과 같이 귀무가설(H0)과 대립가설(H1)을 설정하고, 가설 검정을 다음과 같이 진행할 수 있습니다. 

H0: 두 그룹의 전환율이 차이가 없다. 
H1: 두 그룹의 전환율이 차이가 있다. <- 이게 채택되길 바람!! 

 

이 경우에는, 가설 검증에 따라 B안을 채택하게 되네용

 

노트 안의 캡처본은 https://yozm.wishket.com/magazine/detail/1325/ 여기에서 가져왔습니다

---

 

저는 이렇게 익힌 이론으로 A/B 테스트 프로젝트를 진행해보도록 하겠습니다 ^^

 

---

참고문헌 

프로덕트 성장을 위한 실험 바이블 (1탄)

 

A/B 테스트 결과, 이게 맞아? | 요즘IT

 

AB Test | Data for PM - PM을 위한 데이터 분석, 데이터 리터러시(프로덕트 데이터 분석)