Julie의 Tech 블로그

$ pip install tfx import tensorflow_data_validation as tfdv import tesnorflow_transform as tft import tensorflow_transform.beam as tft_beam from tfx.components import ExampleValidator from tfx.components import Evaluator from tfx.components import Transform 본 글은 이전 시리즈에 이어 머신러닝 파이프라인 설계시 사용되는 주요 프레임워크, 툴들에 대해 개괄적으로 다뤄볼 것이다. 우선 파이프라인 설계시 사용되는 TFX와 Orchestration 툴 Apache Beam에 대해 알아보자. ​ Introduct..

본 시리즈는 최종적으로 Kubeflow를 활용하여 머신러닝 모델 자동화를 이룰 수 있도록 파이프라인을 설계하는 방법에 대해 다룰 것이다. 머신러닝 파이프라인은 모델의 life cycle 전체를 자동화할 수 있다는 점에서 매우 매력적인 도구이다. 새로운 학습 데이터가 인입될 때, 데이터 가공, 모델 학습, 분석, 그리고 배포까지 전체 워크플로우가 돌게 되어있다. 이 과정에서 데이터 분석가나 엔지니어가 개입하여 새롭게 처리하거나 작업해야할 공수가 상당히 줄어든다. ​ 이번 개요 편에서는 머신러닝 파이프라인을 설계함으로써 어떤 이득을 얻을 수 있는지를 간단히 살펴보자. 달리 보면 머신러닝 파이프라인을 설계해야하는 이유, 필요성으로도 볼 수 있다. ​ * 분석가는 새로운 모델 개발에 집중할 수 있다. 기존에 존..