SWE Julie's life

이번 글부터는 머신러닝 파이프라인 단계별로 좀 더 상세하게 살펴볼 것이다. 일단 가장 첫 단추라고 할 수 있는 데이터 Ingestion 부터 알아보도록 하자. ​ TFX 는 데이터를 파일 혹은 어느 서비스 형태로 파이프라인에 삽입할 수 있도록 Component를 제공한다. 그 중 하나가 TFRecord , 즉 사이즈가 큰 데이터를 스트리밍하는 용도로 최적화된 경량화된 format 이다. TFRecord 파일은 여러개의 tf.Example 레코드로 구성되어 있는데, 각 레코드는 하나 이상의 feature 로 구성되어있다. feature는 데이터에서 컬럼에 대응하는 단위로 생각하면 된다. 이 레코드들이 바이너리 형식의 TFRecord로 저장되게 된다. 따라서 큰 데이터를 write하거나 다운로드할 때 최적화..

$ pip install tfx import tensorflow_data_validation as tfdv import tesnorflow_transform as tft import tensorflow_transform.beam as tft_beam from tfx.components import ExampleValidator from tfx.components import Evaluator from tfx.components import Transform 본 글은 이전 시리즈에 이어 머신러닝 파이프라인 설계시 사용되는 주요 프레임워크, 툴들에 대해 개괄적으로 다뤄볼 것이다. 우선 파이프라인 설계시 사용되는 TFX와 Orchestration 툴 Apache Beam에 대해 알아보자. ​ Introduct..

본 시리즈는 최종적으로 Kubeflow를 활용하여 머신러닝 모델 자동화를 이룰 수 있도록 파이프라인을 설계하는 방법에 대해 다룰 것이다. 머신러닝 파이프라인은 모델의 life cycle 전체를 자동화할 수 있다는 점에서 매우 매력적인 도구이다. 새로운 학습 데이터가 인입될 때, 데이터 가공, 모델 학습, 분석, 그리고 배포까지 전체 워크플로우가 돌게 되어있다. 이 과정에서 데이터 분석가나 엔지니어가 개입하여 새롭게 처리하거나 작업해야할 공수가 상당히 줄어든다. ​ 이번 개요 편에서는 머신러닝 파이프라인을 설계함으로써 어떤 이득을 얻을 수 있는지를 간단히 살펴보자. 달리 보면 머신러닝 파이프라인을 설계해야하는 이유, 필요성으로도 볼 수 있다. ​ * 분석가는 새로운 모델 개발에 집중할 수 있다. 기존에 존..