Julie의 Tech 블로그

짧다면 짧고 길다면 긴 대학원 생활이 끝을 맞이했다. 사실 나는 Professional Degree라서 논문을 쓰지는 않았기에 연구에 가까운 대학원 생활은 아니었지만, 학문 깊이가 깊어지고 + 과제/플젝 폭탄을 등에 얹고 쉬지 않고 달리는 느낌이었다. 미국 대학은 늘상 기본으로 weekly quiz, bi-weekly machine problems, 그리고 시험 혹은 프로젝트로 구성되어있어 학생들을 계속 바쁘게 굴린다. 나에게 계속 “너 이거 확실히 알아? 이거는? 저거는?” 하며 테스트하는 기분이었다. 그래도 각국에서 온 교수님 뿐만 아니라 학생들마저도 각기 다른 히스토리를 보유하고 있어 커뮤니티에서 서로 활발히 교류하는 그 과정이 굉장히 좋았다. 또 잘 설계된 과제들을 하다보면 정말 배우는 것도 많고..

suite of LLMOps tool built for the development of LLM-powered applications Weight and Biases는 wandb라는 패키지를 제공하고 있다. 본래 이 라이브러리는 MLOps용으로 TensorBoard와 유사하게 metric들이 학습과정에서 어떻게 변화하는지를 표현해주는 대시보드 기능을 제공한다. W&B Prompts는 LLM에서 있었던 input, output 그리고 파라미터 값들, 결과가 성공적이었는지/실패였는지 등을 포함하여 편리하게 트래킹할 수 있도록 대시보드를 제공한다. Trace Timeline: LLM에서의 각 execution 스텝과 상태를 그래프 형태로 표현, 클릭해서 누르고 보면 좀 더 자세하게 parameter값이나 어디..

ChatGPT Plugin은 나의 서비스에 ChatGPT를 plugin하는 것이 아니라 ChatGPT에 나의 서비스를 결합하는 기능이다. 아쉽지만 첫 소개 페이지에서 LangChain과 유사한 커버리지를 나열하고 있어 공식 LangChain 버전인가하여 눈을 크게 뜨고 봤지만 아니었다. ​ ChatGPT Plugin은 ChatGPT의 트래픽에 얹어 홍보를 하고픈 서비스거나, 기성 대형 서비스들이 적합하겠다는 생각이 들었다. Plugin을 등록하게되면 이제 전세계적으로 트래픽이 들어올텐데 커버가 가능한 서비스여야 의미가 있을 것이기 때문이다. ​ ChatGPT 공식 독스에서는 아래와 같이 Plugin의 장점을 꼽는다. - 최신 정보를 검색 (retrieve real-time info) - 지식 베이스 검색..

최근 ChatGPT의 흥행 이후 많은 LLM 기반 패키지들이 생겨나고 있다. 마치 물이 들어오기를 기다리고 있었던 선박들 마냥 기존의 라이브러리를 확장해서 오픈 소스로 공개하기도하고, 기존 서비스에 extension으로 확장해서 사용할 수 있게끔 기능을 제공하는 등 LLM ecosystem이 더 풍부해지고 있다. 그 중에서도 오늘 글은 LangChain이란 LLM으로 E2E Application을 개발할 수 있도록 해주는 프레임워크에 대해 다뤄볼 것이다. 개인적으로 독스나 코드를 보며 여러 방면에서 가려운 곳을 정확히 긁어주고 있어 감동(?)받았었다. LangChain은 여러 모듈로 구성되어있는데, 그 모듈들로 Application을 아래와 같이 확장해나갈 수 있다. LLMs: LM에 input을 넣어 ..

ChatGPT가 요즘 세간의 관심을 받고 있다. 비전공자들에게도 굉장히 뜨거운 감자인데 개인적으로 UI/UX도 인기를 끄는데 한 몫했다고 생각한다. 이전 대화를 기억함으로써 대화를 이어나갈 수 있다는 점, 기대 이상의 속도로 텍스트를 만들어내는 것과 답변하면서도 중간에 수정하는 모습, 그리고 '감정적인 교류'처럼 보이게끔 하는 칭찬에 대한 감사표현이나 비판에 대한 애도표현들. 마지막으로는 대화의 내용을 한 줄로 요약해서 제목에 붙이는 것까지. 답변에 대한 퀄리티도 준수한 편인데 사람이 이해할 수 있는 수준으로의 문법적/문맥적 오류 없이 답변을 생성해낸다. 메타인지도 되는 것처럼 본인에 대해서 설명하거나 평가도 가능하고, 답변의 길이도 꽤 길다. 오히려 역으로 옳지 않은 응답이나 이해가 부족한 경우에는 응..

이번 글은 추천시스템의 아키텍쳐로 떠오르는 multi-stage recommendation system 구조에 대해 간단히 살펴본 후, 가장 마지막 stage로 분류되는 're-ranking(재순위화)'에 대해 개괄적으로 다뤄볼 것이다. 본 글은 2022 RecSys의 tutorial에 소개된 survey 논문 중 하나인 neural re-ranking for multi-stage recommender systems를 참조하였다. ​ 추천시스템에서의 아이템과 유저는 굉장히 방대하면서 동시에 sparse하다. 그리고 데이터를 수집하여 사용 가능한 형태로 만들고, 다시 모델로 추론하여 FE에 제공하기까지 상당히 여러 단계를 거쳐야한다. 최근 추천시스템 분야에서는 이를 각 단계로 분리한 multi-stage ..