Airbnb의 A/B 테스트 실험

새로운 기능 추가에 대한 A/B 테스트
기존 기능을 사용하는 사용자 그룹 vs. 새로운 기능을 사용하는 그룹 비교.
p-value가 0.05 보다 작은지 검사.
e.g. 검색 기능에, 가격 범위 폭을 $300 에서 $1,100 으로 변경.
- 예약률은 4% 성장.
- p-value는 0.05 이하.
- 하지만 시간이 지나자 예약률은 0% 성장에 근접해지고 p-value는 0.4가 됨.
A/B 테스트 실험 결과가 시간에 따라 변화하는 일이 자주 발생한다.
- 원인: 새로운 기능이 나오면 새 기능을 일단 써보자는 유저가 있어서 전환율과 p-value에 영향을 준다.
p-value가 0.05 이하라고 즉시 A/B 테스트를 중단하는 건 경솔함.
- p-value 가 시간에 따라 변화하지 않고 안정되는지 확인해야 한다.
A/B 테스트 결과를 검증할때 로그를 확인해야 한다.
- 부정적인 결과가 나왔을때 로그를 보니 특정 브라우저의 버그가 원인인 경우가 있었다.