https://yozm.wishket.com/magazine/detail/1656/
A/B 테스트 제대로 이해하기: 3 A/B 테스트 계산기의 세팅과 해석 | 요즘IT
앞선 두 편의 글에서, ‘실제 A/B 테스트를 설계할 때 우리가 진짜 궁금한 질문’과 ‘A/B 테스트 실험 결과의 유의미한 방안’, 그리고 ‘이를 바탕으로 A/B 테스트의 설계 및 해석에 필요한 기초
yozm.wishket.com
요약
A/B 테스트 계산기 이용하는 법
주요포인트
1. 기초통계 지식으로 계산기 세팅 및 해석하기
2. 양측검정과 단측검정
3. 테스트 사이팅 결과해석
핵심개념
1. 기초통계 지식으로 계산기 세팅 및 해석하기
A/B-Test Calculator - Power & Significance - ABTestGuide.com
Std. Error of difference SEdifference = ( SEA2 + SEB2 )1/2
abtestguide.com
AB Testguide 이용하는법
| Test Data | 각 그룹의 표본 크기와 그룹별 최종 전환 숫자. 실험을 통해 각 그룹에 모인 트래픽과 그중에서 우리가 원하는 결과로 최종 전환된 트래픽 입력 |
| Settings-Hypthesis | 단측검정과 양측검정 선택 |
| Settings-Confidence | 신뢰 수준의 %를 묻는 설정(보통 95%) |
2. 양측검정과 단측검정
단측검정 : 보수적이고 안전한 실험
(두 요인중 특정 요인에 대해 다른 요인을 비교하고 싶을때 사용)
ex) A는 B보다 큰가, 작은가.
양측검정 : 보수적이고 안전한 실험
(두 요인의 차가 있는지 알고싶을때 사용)
ex) A와 B는 차가 있는가
3. 테스트 사이팅 결과해석
신뢰수준이 95 % 라면 P value 가 0.05 이하이면 유의성을 가진다.
용어정리
p-value: 귀무가설이 사실이라고 가정했을 때, 현재 관찰된 결과 또는 그보다 더 극단적인 결과가 우연히 발생할 확률을 나타내는 값