Julie의 Tech 블로그

A/B테스트를 진행하다 보면 한 가지 의문점이 떠오르게 된다 - 실험을 얼마 동안 진행해야할까? 이 질문은 '얼마 만큼의 데이터를 모아야하는가'와 결국 동일한 질문이다. ​ 통계학적으로 접근하자면, 가설검정의 결과는 p-value에 의해 결정된다. 두 집단의 검정통계량 차이가 크면 클수록(p-value가 클수록) 두 집단은 이질적인 집단으로 분류된다. 즉 우리는 샘플 사이즈를 정하기에 앞서 어떤 통계학적 테스트를 이용하여 결과를 볼 것인지 정해야한다. 그 후 최소한의 수준을 정해야한다. 예를 들어 x만큼의 차이가 있는 것으로 밝혀졌을 때, 그 x가 얼마나 큰 것인지를 비교할 수 있는 수준말이다. 그 최소한의 수준(Minimum Detectable Effect, MDE)를 찾아낼 확률을 계산한 뒤, 그 확..

이번 글에서는 지난번 순열검정에 이어 여러 그룹간 차이의 유의미성을 따질 때 사용할 수 있는 모델인 ANOVA를 다룰 것이다. ANOVA는 3개 이상의 집단일 때 적합한 테스트로 알려져있다. ANOVA/분산분석은 ANalysis Of VAriance의 약자이다. 본격적으로 ANOVA에 대해 알아보기 전에 제약사항을 하나 짚고 넘어가자. ANOVA는 독립적인 표본에 적용할 수 있는 기법이다. 즉 표본이 서로 의존적이라면 테스트에 적합하지 않다. ANOVA는 다음과 같은 절차로 이루어진다 : 1. 데이터를 하나의 박스에 모두 넣는다. 2. 1에서 서로 무작위로 섞은 뒤 각각 본래 그룹사이즈대로 나눈다. (ex. 5그룹 2사이즈씩이었다면 2에서 동일하게 다시 배분) 3. 각 그룹의 통계량을 계산한다. (ex..

이번 글 시리즈는 데이터과학에서 A/B테스트를 설계하고 풀어나가는 방법에 대해 다뤄볼 것이다. ​ 데이터 분석가는 여러 가지 이유로 실험을 하게된다. 통상적으로 어떤 가정을 세우고 그 가정을 증명하기 위해서 실험을 설계한뒤 데이터를 수집하여 그 가정을 검정한다. * 가설은 검정(test)하는 것이 맞다. 검증은 verify, 즉 증명한다는 의미로 사용되어 사실인지 아닌지 모르는 가설을 검증하는 것은 맞지 않다. 그 중에서도 두 가지 대안, 과정, 혹은 상품 중 어떤 것이 더 우세한가를 밝히는 실험을 A/B 테스트라고 한다. 두 대안 중에서 가장 흔한, 보편적인 기준을 '대조군(control)'이라고 한다. ​ 우리는 보통 웹 디자인, UI를 수정할 때 A/B테스트를 자주 한다. 예를 들어 AI기반 추천 ..

이번 글은 확률 분포에 대해 간단하게 정리해보려고 한다. 수학적으로 접근하기 보단 분포들이 실제로 어떤 목적을 지니고, 어떤 경우에 활용되는지 등 실용적인 측면에서 정리하였다. ​ 우리가 확률 분포라고 함은 아래와 같이 분류할 수 있다. ​ 우리는 여기서 연속확률분포에 대해 간단하게 살펴볼 것이다. 그 중에서도 정규분포, 카이제곱 분포, t분포에 대해 알아보자. ​ 분포는 중요한 두 개의 통계량을 가지고 있다. 중심 위치(평균)과 퍼짐 정도(분산)이다. ​ 모집단에 대한 분포를 알고 싶을 때 우리가 전수조사를 통해 데이터를 수집한 후 모집단의 통계량을 구할 수도 있다. 하지만 이 방법은 비현실적이고 불가능하기 때문에 우리는 늘 '표본(Sample)'을 통해 모집단에 대해 추정하곤 한다. 실례로는 대한민국..

이전 글에서는 데이터 샘플링에 대한 개념과 랜덤샘플링, 편향(Bias)에 대해 간단하게 살펴보았다. 이번 글은 Bootstrap 이라는 개념에 대해 알아보자. ​ 통계량의 표본 분포에 대해 측정하려고할 때 가장 쉽고도 효과적인 방법은, 반복해서 샘플링을 추출해내는 것이다. 이 때 복원 추출을 허용한다. 우리가 A라는 모집단에서 A', A'', A'''..., 로 표본을 계속해서 뽑고 그 표본의 통계량을 반복해서 계산한다고 생각해보자. 표본을 추출하는 횟수를 늘려갈수록 이 통계량들의 평균은 A 모집단의 통계량 평균과 유사해질 것이다. ​ 이 과정을 Bootstrap이라고 부른다. 부트스트랩은 표준분포와 같은 일반적인 가정을 포함하여 어떠한 조건도 요구하지 않아 간단하다. Bootstrap 과정을 간단하게 ..

우리는 데이터 샘플링을 필요로할 때가 많다. 모델을 처음 빌드할 때에 불균형 데이터일 경우 긍정 정답지이건 부정 정답지이건 어느 쪽이든 샘플링을 하게 된다. 또 모델 두 개를 빌드해두고 어느 모델이 더 우수한지 A/B테스트를 할 때에도 실험군, 대조군에 대해 샘플링하게 된다. ​ 데이터 샘플링은 쉽게 말해 모집단(Population)에서 샘플군(Sample)을 추출해내는 방식이다. 샘플 데이터는 모집단의 부분집합인 것이다. 모집단은 우리가 알 수 없는 특정 분포를 따른다. 우리는 이 모집단에 대한 정보를 알기 위해 샘플 데이터를 통해 모집단을 추정한다. 전통 통계학은 모집단의 분포에 대해 추론하기 위해 몇 가지 가정을 세워 결론을 도출하는 방식의 접근을 취한다. ​ 하지만 최근에는 모집단의 분포에 대해 ..