SWE Julie's life

MLOps 의 서비스 플로우를 이해하기 위해서 GCP에서 제공하는 TFX 기반 ML 시스템 아키텍쳐를 살펴보기로했다. ​ MLOps 서비스는 모델을 어떻게 하면 지속적으로 관리하고 배포할 수 있을지에 대한 파이프라인을 설계해야한다. 이를 CI/CD 파이프라인이라고 부른다. ​ Glossary TFX : Tensorflow Extend, ML을 빌드하고 배포하기 위한 통합 플랫폼 CI/CD 파이프라인 : CI(지속적 통합), CD(지속적 배포) ​ TFX의 주요 라이브러리 - TFDV (Data Validation) : 데이터 이상치 감지 - TFT (Transform) : 데이터 전처리 및 특성 추출을 위해 사용 - Estimators and keras : ML 모델 빌드 및 학습에 사용 - TFMA(M..

MLOps란? - Machine Learning모델의 지속적인 배포 및 자동화를 위한 파이프라인 ​ MLOps의 조건 1) 지속적 통합(CI) - 패키지와 구성요소(데이터 스키마, 모델 등) 빌드 및 테스트 2) 지속적 배포(CD) - 모델 예측 서비스(파이프라인, 모델)를 자동으로 배포 3) 지속적 학습 (CT) - 모델을 자동으로 재학습, 제공 ML 시스템 개발(Dev)과 ML 시스템 운영(Ops)를 통합하는 것을 목표로 하는 방식 DevOps와 비교하였을 때 지속적 학습(CT) 개념이 추가됨 ​ ML 단계 - 데이터 추출 - 데이터 분석 - 데이터 준비 - 모델 학습 - 모델 평가 - 모델 검증 - 모델 제공 - 모델 모니터링 ​ * MLOps 파이프라인 도식화 출처 : Google Cloud Do..