Julie의 Tech 블로그

도커 컨테이너는 우리가 소프트웨어를 실행하기 위해 필요한 모든 것들 (코드, runtime, 시스템 라이브러리 등 서버에 설치될 수 있는 모든 것들) 을 담고 있는 파일 시스템을 감싸고 있다(wrap). 이를 통해 소프트웨어가 항상 어떤 환경에서든 동일하게 동작할 수 있도록 보장해준다. 기본적으로 컨테이너는 어플리케이션을 분리하도록 설계되어 있으며, 분리하는 대상은 어플리케이션 기저에 있는 인프라도 포함하고 있다. 그럼 어플리케이션 간 통신을 하기 위해서는 어떻게 해야할까? 서비스의 portability와 보안, 성능, scalability를 보장하면서 어플리케이션 간 통신이 가능하도록 하는 네트워크를 어떻게 설계해야할까? ​ Bridge Network 출처 : docker official github ..

빅데이터 프레임워크에는 Hadoop과 Spark가 있다. Hadoop은 흔히들 접할 수 있지만, 요즈음 Spark에 대한 관심과 니즈가 증가하고 있는 듯 하다. 두 프레임워크 모두 오픈소스이며, 빅데이터를 처리하기 위한 기술로 등장했다. ​ Spark를 짚기 전에 간단하게 Hadoop에 대해 정리해보면, Hadoop은 크게 HDFS와 Map Reduce 로 구성되어있다. 특정 작업을 여러 노드로 분할하여 매핑(Map)한 뒤 각각 생성된 중간 결과를 집계하여 최종 결과(Reduce)를 도출하는 방식으로 구성되어 있다. 즉 장시간 소요되는 배치처리를 효율적으로 진행하기 위해 적합한 방식이기 때문에 속도 측면에서 개선요구사항이 있었다. 사용성으로도 low-level 환경이다 보니 사용자와 interactive..

MLOps 의 서비스 플로우를 이해하기 위해서 GCP에서 제공하는 TFX 기반 ML 시스템 아키텍쳐를 살펴보기로했다. ​ MLOps 서비스는 모델을 어떻게 하면 지속적으로 관리하고 배포할 수 있을지에 대한 파이프라인을 설계해야한다. 이를 CI/CD 파이프라인이라고 부른다. ​ Glossary TFX : Tensorflow Extend, ML을 빌드하고 배포하기 위한 통합 플랫폼 CI/CD 파이프라인 : CI(지속적 통합), CD(지속적 배포) ​ TFX의 주요 라이브러리 - TFDV (Data Validation) : 데이터 이상치 감지 - TFT (Transform) : 데이터 전처리 및 특성 추출을 위해 사용 - Estimators and keras : ML 모델 빌드 및 학습에 사용 - TFMA(M..

MLOps란? - Machine Learning모델의 지속적인 배포 및 자동화를 위한 파이프라인 ​ MLOps의 조건 1) 지속적 통합(CI) - 패키지와 구성요소(데이터 스키마, 모델 등) 빌드 및 테스트 2) 지속적 배포(CD) - 모델 예측 서비스(파이프라인, 모델)를 자동으로 배포 3) 지속적 학습 (CT) - 모델을 자동으로 재학습, 제공 ML 시스템 개발(Dev)과 ML 시스템 운영(Ops)를 통합하는 것을 목표로 하는 방식 DevOps와 비교하였을 때 지속적 학습(CT) 개념이 추가됨 ​ ML 단계 - 데이터 추출 - 데이터 분석 - 데이터 준비 - 모델 학습 - 모델 평가 - 모델 검증 - 모델 제공 - 모델 모니터링 ​ * MLOps 파이프라인 도식화 출처 : Google Cloud Do..