SWE Julie's life

이번 편은 지난 편에 이어 머신러닝 파이프라인 단계 중 하나인 Data Validation(검증) 과 관련된 기술들에 대해 소개해볼 것이다. 지난번의 Data Ingestion 단계가 이루어지면, 인풋으로 들어온 데이터가 올바른지에 대해 검증하는 단계이다. 모델로 학습하기 이전에 이상치가 있는지, 데이터 범위에 맞게 분포가 형성되어있는지 등을 확인하게 된다. ​ Data Validation 단계에서는 아래 세 가지를 중점적으로 살펴보게 된다: 1. Data Anomaly 확인 2. Data Schema 변경건 확인 3. 이전 버전의 데이터와 주요 통계치가 유사한 수준에 있는지 ​ 이 세가지 포인트에 있어서 차이가 크게 발생하거나 문제가 있을 경우 워크플로우를 중단하여 운영자가 점검할 수 있도록 해준다. ..