SWE Julie's life

A/B테스트를 진행하다 보면 한 가지 의문점이 떠오르게 된다 - 실험을 얼마 동안 진행해야할까? 이 질문은 '얼마 만큼의 데이터를 모아야하는가'와 결국 동일한 질문이다. ​ 통계학적으로 접근하자면, 가설검정의 결과는 p-value에 의해 결정된다. 두 집단의 검정통계량 차이가 크면 클수록(p-value가 클수록) 두 집단은 이질적인 집단으로 분류된다. 즉 우리는 샘플 사이즈를 정하기에 앞서 어떤 통계학적 테스트를 이용하여 결과를 볼 것인지 정해야한다. 그 후 최소한의 수준을 정해야한다. 예를 들어 x만큼의 차이가 있는 것으로 밝혀졌을 때, 그 x가 얼마나 큰 것인지를 비교할 수 있는 수준말이다. 그 최소한의 수준(Minimum Detectable Effect, MDE)를 찾아낼 확률을 계산한 뒤, 그 확..

이번 글에서는 지난번 순열검정에 이어 여러 그룹간 차이의 유의미성을 따질 때 사용할 수 있는 모델인 ANOVA를 다룰 것이다. ANOVA는 3개 이상의 집단일 때 적합한 테스트로 알려져있다. ANOVA/분산분석은 ANalysis Of VAriance의 약자이다. 본격적으로 ANOVA에 대해 알아보기 전에 제약사항을 하나 짚고 넘어가자. ANOVA는 독립적인 표본에 적용할 수 있는 기법이다. 즉 표본이 서로 의존적이라면 테스트에 적합하지 않다. ANOVA는 다음과 같은 절차로 이루어진다 : 1. 데이터를 하나의 박스에 모두 넣는다. 2. 1에서 서로 무작위로 섞은 뒤 각각 본래 그룹사이즈대로 나눈다. (ex. 5그룹 2사이즈씩이었다면 2에서 동일하게 다시 배분) 3. 각 그룹의 통계량을 계산한다. (ex..

이번 글 시리즈는 데이터과학에서 A/B테스트를 설계하고 풀어나가는 방법에 대해 다뤄볼 것이다. ​ 데이터 분석가는 여러 가지 이유로 실험을 하게된다. 통상적으로 어떤 가정을 세우고 그 가정을 증명하기 위해서 실험을 설계한뒤 데이터를 수집하여 그 가정을 검정한다. * 가설은 검정(test)하는 것이 맞다. 검증은 verify, 즉 증명한다는 의미로 사용되어 사실인지 아닌지 모르는 가설을 검증하는 것은 맞지 않다. 그 중에서도 두 가지 대안, 과정, 혹은 상품 중 어떤 것이 더 우세한가를 밝히는 실험을 A/B 테스트라고 한다. 두 대안 중에서 가장 흔한, 보편적인 기준을 '대조군(control)'이라고 한다. ​ 우리는 보통 웹 디자인, UI를 수정할 때 A/B테스트를 자주 한다. 예를 들어 AI기반 추천 ..