https://yozm.wishket.com/magazine/detail/1644/
A/B 테스트 제대로 이해하기: 2A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT
앞선 글에서 A/B 테스트를 설계하거나 수행할 때 ‘목표를 달성하기 위한 방안으로 A와 B 중 어느 게 더 나은가?’ 뒤에 숨은 진짜 질문에 관해 살펴보았다. 이번 글에서는 이러한 우리의 진짜 질
yozm.wishket.com
- 요약 : A/B 테스트를 설계하는 방법과 이 때 필요한 기초 통계의 개념
- 주요포인트 : 모집단과 표본, 귀무가설과 대립가설, 양측검정과 단측검정
- 핵심개념:
모집단과 표본
1) '일부'를 통해서 '전체'에 대해 추론할 수 있다 : 표본일지라도 그 숫자가 충분하면, 전체에 대해서 추측, 추론, 추정할 수 있다.
2) 귀무가설과 대립가설, 양측검정과 단측검정 :
3) 실험결과도 추측이다 : A/B 테스트는 우리가 관심있는 특정 유형의 고객중 실험에 노출된 일부를 바탕으로 추측한 것 뿐이다.
4) 신뢰도: 신뢰수준이 95% 라는것은 5%의 확률로 다른 결과가 나올수도 있는 것이다. 실험결과가 모집단을 완전히 대체하지는 못한다.
- 용어정리
점추정과 구간추정: 한점을 짚어 추측하는것을 '점추정', 구간을 기준으로 추측하는 것을 '구간 추정'이라고 한다.
표준오차: 표본집단마다 결괏값이 정확히 값을 수 없는데 이때의 차이를 표준오차 라고 한다.
신뢰구간: 실험결과가 실제로 포함될 것이라고 예측하는 범위를 '신뢰 구간'이라고 한다.