Julie의 Tech 블로그

이전 글에서 컨테이너란 무엇인가, VM과의 차이를 살펴보며 Docker에 대해 간단히 훑었다. 이번에는 왜 도커를 사용해야하는가에 대해 살펴보고자 한다. ​ 우선 가장 큰 이유는 Environment disparity 이다. Docker는 이전에 살펴봤듯이 OS를 가상화하기 때문에 어떠한 머신에서도 동일한 환경을 제공해준다. 새로운 서비스를 개발할때마다 서버를 구매 및 셋팅할 필요없기 때문에 무척 편리하다. ​ 또한 컨테이너는 각기 독립적인 환경을 제공하기 때문에 더더욱 모듈처럼 관리할 수 있다. ​ 여기까지 제너럴하게 훑어보았으니 간단한 웹서비스를 예로 들어 좀 더 깊게 살펴보자. 심플하게 방문 히스토리를 저장하는 웹페이지를 만든다고 해보자. ​ 이 서비스는 Front-end, back-end, Dat..

빅데이터 프레임워크에는 Hadoop과 Spark가 있다. Hadoop은 흔히들 접할 수 있지만, 요즈음 Spark에 대한 관심과 니즈가 증가하고 있는 듯 하다. 두 프레임워크 모두 오픈소스이며, 빅데이터를 처리하기 위한 기술로 등장했다. ​ Spark를 짚기 전에 간단하게 Hadoop에 대해 정리해보면, Hadoop은 크게 HDFS와 Map Reduce 로 구성되어있다. 특정 작업을 여러 노드로 분할하여 매핑(Map)한 뒤 각각 생성된 중간 결과를 집계하여 최종 결과(Reduce)를 도출하는 방식으로 구성되어 있다. 즉 장시간 소요되는 배치처리를 효율적으로 진행하기 위해 적합한 방식이기 때문에 속도 측면에서 개선요구사항이 있었다. 사용성으로도 low-level 환경이다 보니 사용자와 interactive..

AWS 컨테이너 서비스에 대한 이해를 하기 전, 컨테이너란 어떤 개념인지를 파악하기 위해 기록을 해보았다. VM과는 어떤 추상화 차이가 있는지에 대해서 살펴보며, 컨테이너 서비스 중 도커와 kubernetes에 대해 간략하게 정리하였다. ​ * VM (Virtual Machine) - hardware-level virtualization ​ * 컨테이너 - OS-level virtualization이다. ​ 즉 VM은 hardware (processor, ram, stroage, network 등)을 가상화하고, 컨테이너는 Operating System(OS)를 가상화한다. ​ VM은 hyperviser 를 통해 hardware가상화를 제공함으로써 machine의 isolation을 구현하였다. 즉 VM..

Glossary ECS - docker supported EKS - kubernetes supported 두 개념 모두 container orchestration service ​ 현 직장 업무로 외부 API를 콜하여 적재하는 서비스를 ECS로 등록하여 관리하고 있다. 이에 따라 AWS에서 제공하는 컨테이너 서비스를 전반적으로 살펴보고, ECS와 EKS의 차이를 파악해보고자 한다. ​ 아래 그림은 아마존에서 제공하는 컨테이너 서비스를 단계별로 분류해둔 그림이다. AWS Container Support Service * Hosting : 컨테이너가 실행될 환경(Compatibilities)를 EC2/Fargate로 설정하는것. 1) EC2 : 프로세서, 스토리지, 네트워크에 대한 full control 권..

MLOps 의 서비스 플로우를 이해하기 위해서 GCP에서 제공하는 TFX 기반 ML 시스템 아키텍쳐를 살펴보기로했다. ​ MLOps 서비스는 모델을 어떻게 하면 지속적으로 관리하고 배포할 수 있을지에 대한 파이프라인을 설계해야한다. 이를 CI/CD 파이프라인이라고 부른다. ​ Glossary TFX : Tensorflow Extend, ML을 빌드하고 배포하기 위한 통합 플랫폼 CI/CD 파이프라인 : CI(지속적 통합), CD(지속적 배포) ​ TFX의 주요 라이브러리 - TFDV (Data Validation) : 데이터 이상치 감지 - TFT (Transform) : 데이터 전처리 및 특성 추출을 위해 사용 - Estimators and keras : ML 모델 빌드 및 학습에 사용 - TFMA(M..

MLOps란? - Machine Learning모델의 지속적인 배포 및 자동화를 위한 파이프라인 ​ MLOps의 조건 1) 지속적 통합(CI) - 패키지와 구성요소(데이터 스키마, 모델 등) 빌드 및 테스트 2) 지속적 배포(CD) - 모델 예측 서비스(파이프라인, 모델)를 자동으로 배포 3) 지속적 학습 (CT) - 모델을 자동으로 재학습, 제공 ML 시스템 개발(Dev)과 ML 시스템 운영(Ops)를 통합하는 것을 목표로 하는 방식 DevOps와 비교하였을 때 지속적 학습(CT) 개념이 추가됨 ​ ML 단계 - 데이터 추출 - 데이터 분석 - 데이터 준비 - 모델 학습 - 모델 평가 - 모델 검증 - 모델 제공 - 모델 모니터링 ​ * MLOps 파이프라인 도식화 출처 : Google Cloud Do..