Julie의 Tech 블로그

앞선 글에서 메타버스의 정의, 메타버스의 분류에 대해 살펴보았다. 메타버스란 가상공간, 혹은 가상공간과 현실세계 간의 상호작용 방식 그 자체를 의미한다. 내가 이해한 메타버스란, 기술이라는 개념보다는 '트렌드', 즉 흐름에 가까웠다. 현실 세계를 살아가면서 부딪히는 한계와 불편함을 4차 산업혁명에서 얻은 데이터로 풀어내는 방법이라 느껴졌다. ​ 그래서인지 메타버스는 현실세계와 떼어놓고 이야기할 수 없다. 메타버스는 현실세계와 대응하는 공간이 되기도 하고, 전혀 분리된 새로운 공간이 될 수도 있다. 어찌되었건 가상공간에 접속할 수 있도록, 혹은 가상공간을 만드는 데에 있어 기술이 필요하다. 바로 실감기술이다. 현실을 그대로 구현해둔 것을 넘어서 생생하다고 느껴질 수 있을 정도의 사실감과 구체성을 필요로한다..

메타버스는 말 그대로 메타(Meta, 초월/가상), 버스(Universe, 우주/세계) 두 단어를 합친 합성어이다. 직역하면 "현실을 뛰어넘은 가상 세계" 이다. 잘 와닿지 않는 개념이지만, 우리는 영화에서 흔히 메타버스 개념을 접하곤 했다. 예를 들어 뇌에 칩을 꽂아 가상 공간에서 악당을 물리치는 히어로 스토리, VR기기를 통해 게임을 플레이하는 이야기 등이다. ​ - 메타버스의 정의 메타버스에 대해 정의하기는 어렵다. 왜냐하면 아직까지 구체화된 개념이나 대두하는 플랫폼이 뚜렷하게 없기 때문이다. 하지만 우리는 메타버스를 구현하기 위해 어떠한 것들이 필요한지는 알 수 있다. 우선 메타버스에 '접속'하기 위해 필요한 기기가 있어야할 것이다. 예를 들어 VR기기에 있는 고글과 이어폰과 같은 것이다. 그리고..

우리는 주로 인터넷을 통해 정보를 얻는다. 하지만 정보의 보고인 인터넷에서 원하는 정보만을 얻기는 어렵다. 우리는 이 과정에서 검색엔진의 도움을 받는다. ​ 검색엔진은 사용자의 원하는 정보를 제공하기 위해 인터넷에 있는 데이터를 적절히 선별하여, 그 결과를 적절성에 따라 정렬하여 보여준다. 이 과정을 좀 더 다듬어 정리하면 아래와 같다 : 1) 크롤링(Crawling), 2) 인덱싱(Indexing), 3) 추출(Searching) ​ 크롤링은 웹 로봇이 웹 페이지의 복사본을 만들어 웹 마다 어떤 정보가 담겨있는지를 파악하기 위해 저장하는 과정이다. 웹 로봇은 최초 페이지(아마 당시의 가장 인기 있고 접근이 많은 웹 페이지)에서 해당 페이지에 하이퍼링크로 걸려있는 다른 웹 페이즈들을 재귀적으로 방문하면서..

본 글은 MLOps에서 가장 꽃이라고 할 수 있는 단계, 모델 학습에 대해 살펴볼 것이다. 지난 글까지는 데이터를 수집 및 검증, 전처리 단계까지 살펴보았었다. 본격적으로 시작하기에 앞서, 이 글은 머신러닝 모델 학습에 관한 설명글이 아니며, 모델 학습과정을 MLOps 서비스를 통해 자동화할 수 있는 방법에 대해 다룰 것이다. ​ 앞서 살펴본 데이터 수집, 검증, 전처리 단계를 통해 모델 학습에 필요한 형태로 데이터가 변형되어 준비되어있다고 생각하자. 그리고 우리는 모델이 이미 사전에 정의되어 구현된 상태로 설명을 시작할 것이다. 아래는 예시 코드인데, 예시는 Keras를 사용하여 텍스트를 처리하는 모델이고, Tensorflow Hub에 등록된 기학습된 모델에서 Transfer Learning하여 구현하..

본 글은 이커머스 시장에서의 추천 시스템을 어떻게 구현하는지 개괄적으로 살펴볼 것이다. 이커머스에는 여러 종류가 있다. 쿠팡 / 11번가 / G마켓은 종합 커머스이고, 무신사는 패션 커머스에 해당한다. 하지만 이커머스의 추천은 대체로 유사하게 흘러간다. 대략적으로 틀을 잡으면 아래와 같다. 1. 홈 : 개인화 추천, 인기 상품 추천, 성별/연령 기반 추천 2. 검색 : 검색어 추천(인기 검색어 등), 검색어와 연관 상품 추천 3. 상품상세 페이지 : 주로 대체 상품 추천 (연관 상품 추천도 있음) 4. 장바구니 페이지 : 보완 상품 추천 어떤 추천을 할 것인가라는 문제를 풀기 위한 방식으로 모델을 분류해볼 수 있다. 예를 들어 모델 알고리즘으로는 대표적으로 CBF(Context-based Filterin..

본 글은 MLOps의 데이터 전처리 단계인 Preprocessing 과정에 대해 다뤄볼 것이다. 이전에는 데이터의 수집, 수집된 데이터의 정합성 검증 과정까지 다루었다면, 이제 본격적으로 데이터를 주입하여 모델에 input하기 전까지의 과정을 다루게 되는 것이다. ​ 글을 시작하기에 앞서 본 글은 Tensorflow TFX 라이브러리를 기반으로 설명을 하고 있는데, MLOps의 프레임워크 서비스로 꼭 모든 파이프라인 단계를 빌딩해야한다는 것은 아니다. 기존에 numpy 나 pandas로 전처리를 하고 있었다면, 그로 충분히 사용할 수도 있다. ​ Why Data Preprocessing? 우리가 흔히 수집하는 데이터는 모델이 인식할 수 있는 포맷대로 수집되지 않는다. 예를 들어 모델의 정답지로 사용하는 ..