SWE Julie's life

본 글은 MLOps에서 가장 꽃이라고 할 수 있는 단계, 모델 학습에 대해 살펴볼 것이다. 지난 글까지는 데이터를 수집 및 검증, 전처리 단계까지 살펴보았었다. 본격적으로 시작하기에 앞서, 이 글은 머신러닝 모델 학습에 관한 설명글이 아니며, 모델 학습과정을 MLOps 서비스를 통해 자동화할 수 있는 방법에 대해 다룰 것이다. ​ 앞서 살펴본 데이터 수집, 검증, 전처리 단계를 통해 모델 학습에 필요한 형태로 데이터가 변형되어 준비되어있다고 생각하자. 그리고 우리는 모델이 이미 사전에 정의되어 구현된 상태로 설명을 시작할 것이다. 아래는 예시 코드인데, 예시는 Keras를 사용하여 텍스트를 처리하는 모델이고, Tensorflow Hub에 등록된 기학습된 모델에서 Transfer Learning하여 구현하..

이번 편은 지난 편에 이어 머신러닝 파이프라인 단계 중 하나인 Data Validation(검증) 과 관련된 기술들에 대해 소개해볼 것이다. 지난번의 Data Ingestion 단계가 이루어지면, 인풋으로 들어온 데이터가 올바른지에 대해 검증하는 단계이다. 모델로 학습하기 이전에 이상치가 있는지, 데이터 범위에 맞게 분포가 형성되어있는지 등을 확인하게 된다. ​ Data Validation 단계에서는 아래 세 가지를 중점적으로 살펴보게 된다: 1. Data Anomaly 확인 2. Data Schema 변경건 확인 3. 이전 버전의 데이터와 주요 통계치가 유사한 수준에 있는지 ​ 이 세가지 포인트에 있어서 차이가 크게 발생하거나 문제가 있을 경우 워크플로우를 중단하여 운영자가 점검할 수 있도록 해준다. ..