Frequentist approach & Bayesian approach Frequentist 우리가 사용하고 있는 일반적인 A/B testing 접근법 베이지안 접근법보다 해석이나 설명하는 것이 조금 더 복잡한 방식 우리가 구한 parameter 또는 metric이 변하지 않는 상수라 여겨지며 확률분포와는 관련이 없음 Bayesian Frequentist 와 가장 큰 차이점은 우리의 metric을 상수가 아닌 하나의 random variable 이라고 여겨, 그것이 확률 분포를 갖게 된다는 점 우리의 추정치에 대한 불확실성까지 포함하여 확률에 기반한 추론이 가능해지기에 frequentist 가 가지는 해석보다 훨씬 직관적임 i.e 신뢰구간을 해석할 때 💡 95% CI for theta : (-0.68,..

주제 선정 계기: 실험을 시작하기 이전 이 정도 명수(표본 양)가 적당할까요 라는 질문을 종종 받았었고 https://www.evanmiller.org/ab-testing/sample-size.html) 이런 사이트를 주로 이용하고는 있으나, 저 계산의 바탕이 되는 통계적 원리를 알아보고자 함. 들어가기 전 바탕 지식: 1종 오류: 귀무가설이 옮음에도 대립가설을 선택하는 경우에 발생하는 오류 A/B testing 에서는 두 집단의 차이가 없는데 있다고 하는 오류 2종 오류: 귀무가설이 거짓임에도 귀무가설을 택하는 오류 A/B testing 에서는 두 집단의 차이가 있는데도 없다고 하는 오류 significance level(⍺, often calculated as a pvalue)(유의수준): 1종 오류..