MLOps - (1) MLOps란? ML Pipeline에 대해

MLOps란?

- Machine Learning모델의 지속적인 배포 및 자동화를 위한 파이프라인

​

MLOps의 조건

1) 지속적 통합(CI) - 패키지와 구성요소(데이터 스키마, 모델 등) 빌드 및 테스트

2) 지속적 배포(CD) - 모델 예측 서비스(파이프라인, 모델)를 자동으로 배포

3) 지속적 학습 (CT) - 모델을 자동으로 재학습, 제공

ML 시스템 개발(Dev)과 ML 시스템 운영(Ops)를 통합하는 것을 목표로 하는 방식

DevOps와 비교하였을 때 지속적 학습(CT) 개념이 추가됨

​

ML 단계

- 데이터 추출

- 데이터 분석

- 데이터 준비

- 모델 학습

- 모델 평가

- 모델 검증

- 모델 제공

- 모델 모니터링

​

* MLOps 파이프라인 도식화

출처 : Google Cloud Docs - Automated ML pipeline for CT

MLOps파이프라인 구성요소

1) Data Validation

- data schema bias : 예기치 않은 feature 수신 등

- data value bias : 이상치 포함 등

2) Model Validation

- 모델 평가측정 항목 값들을 생성하여 이전 모델과 performance가 좋아졌는지 비교

- 신규 모델이 다양한 세그먼트에서 일관적인 성능을 보여주는지 확인

3) Model Registry

- 모델 ID, URI, 모델 버전, hyper parameters, 모델 평가 측정값, 파이프라인 실행일시 등 관련 메타 정보를 보유

- Tensorflow에서 제공하는 라이브러리인 ML-metadata로 다수 사용

4) Feature Store

- 최신 데이터셋을 제공

5) Inference Client

​

리소스 최적화 관련 니즈

- 트래픽 예상을 하기 어렵기 때문에 미리 사용량을 예측하여 산정함

- 추론하기 위한 최소한의 장비 사양이 어느정도인지 가늠하기 힘듦

​

모델 서빙이 가능한 모델 형식

- SavedModel : tensorflow에서 사용, tensorflow serving에서 실행가능

- ONNX : Pytorch를 사용

- TensorRT plan file : NVIDIA의 TensorRT기술을 사용하여 GPU 인퍼런스에 최적화, Trition inference server를 사용하여 서빙 가능

​

* kubeflow도 ML-metadata를 사용

​

-------------------------------------------------------------------------------------------

​

출처 :

1) Google Cloud ML Ops 공식 가이드문서 : https://cloud.google.com/solutions/machine-learning/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ko

MLOps: 머신러닝의 지속적 배포 및 자동화 파이프라인  |  Google Cloud

솔루션 평가 및 리뷰 MLOps: 머신러닝의 지속적 배포 및 자동화 파이프라인 목차 DevOps와 MLOps 비교 ML을 위한 데이터 과학 단계 MLOps 수준 0: 수동 프로세스 특성 도전과제 이 문서에서는 머신러닝(ML) 시스템을 위한 지속적 통합(CI), 지속적 배포(CD), 지속적 학습(CT)을 구현하고 자동화하는 기술을 설명합니다. 데이터 과학 및 ML은 복잡한 실제 문제를 해결하고, 업계를 혁신하고, 모든 도메인에서 가치를 창출하는 데 핵심적인 역할을 합니다. 현재 효과적으로 ML 적용하기 위한 요소는 다음과 같습니다.

cloud.google.com

2) 2020 네이버 DEVIEW https://tv.naver.com/v/16970565

손쉽게 ML 라이프사이클을 다룰 수 있는 MLOps

NAVER Engineering | 유승현 - 손쉽게 ML 라이프사이클을 다룰 수 있는 MLOps

tv.naver.com