Julie의 Tech 블로그

* 이 글은 아래 아티클을 한글로 의역한 내용을 담고 있습니다. https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c The Secret Sauce behind 100K context window in LLMs: all tricks in one place tldr; techniques to speed up training and inference of LLMs to use large context window up to 100K input tokens during training and… blog.gopenai.com 배경 요즈음 등장하는 LLM의 context ..

* 이 글은 여러 자료에서 나왔던 내용을 조합 및 개인의 사용경험을 기반으로 서술되었습니다. LLM으로 무엇을 하느냐에 따라 프롬프트를 작성하는 방법이 달라진다. LLM은 일반적으로 질의응답(QA), 번역, 요약, 대화, 생성, 코딩 등의 task를 수행할 수 있다. 그러나 광범위하게 "내가 지니고 있는 요구사항을 프롬프트에 어떻게 잘 담아서 LLM에게 설명할 수 있을까"라는 관점에서 프롬프트 작성 가이드를 정리해보자면 아래와 같다. 프롬프트에는 일반적으로 3가지의 정보가 포함되어야한다. 1. Topic / Task or Role 2. Input, Output Indicator 3. Current Input 첫 시작은 보통 LLM에게 너는 어떤 역할을 해야한다 혹은 하고자 하는 도메인에 대한 일반적인 설..

오늘은 ChatGPT의 등장 이후 여러 GPT 모델을 써보면서 가장 크게 변화되었다고 생각하는 영역에 대해 지극히 개인적인 주관을 정리해보려고 한다. 가장 크게 영향을 받은 영역은 1) 검색 그리고 2) 프로그래밍이라고 생각한다. 물론 나는 비즈니스 사이드에서 일하는 사람이 아니기 때문에 리서치 등의 비즈니스 영역의 task는 시켜보지 않아서 그들은 시작부터 고려대상이 아니었다는 점을 감안하고 읽어봐주길 바란다! 우선 검색부터 보자면, 자연어 기반 검색이 가능해졌다. 이는 개인이 얻는 정보의 질적인 차이를 줄여주지 않을까 생각했다. 예전에는 필요한 검색을 정확한 키워드로 찾아야만 볼 수 있었다면 이제는 LLM기반으로 시야의 제한을 확장해준 느낌이다. 내가 나의 능력으로 만들 수 있는 꼬깔콘은 조그마한데,..

이번 글은 Azure에서 LLM기반 어플리케이션의 best-practice 아키텍쳐 중에서 QA엔진에서 주로 사용되는 Azure Vector Search 서비스에 대한 설명과 서비스 이용해본 경험을 바탕으로 내린 한계와 후기를 담으려고 한다. https://learn.microsoft.com/ko-kr/azure/architecture/solution-ideas/articles/cognitive-search-with-skillsets 참고할만한 자료 Official Docs: https://learn.microsoft.com/en-us/azure/search/ Official Code Repo: https://github.com/Azure/cognitive-search-vector-pr/tree/main..

LLM 모델의 성능은 어떻게 평가할 수 있을까? LLM 모델 기반 어플리케이션을 개발하는 사람이라면 누구나 다 prompt engineering과 LLM 모델의 블랙박스에 진절머리가 나있을테다. 나 역시 LLM 프로젝트를 하면서 계속 고민했던 사항이고 아직도 답을 못내렸기 때문에 오늘은 이 글을 통해 evaluation에 대한 이야기를 나누어볼까 한다. 우리는 일반적으로 ML/DL 모델을 개발하면 ‘숫자’로 모델의 성능을 평가하려고 한다. 그 이유인 즉슨 하나의 모델도 실험해볼 것이 너무 많기 때문에 사람이 일일이 결과를 들여다보기 어려울 뿐더러, 대개 정답지가 있는 상황에서 개발되었기 때문에 숫자로 점수를 매길 수 있기 때문이다. 하지만 LLM은 생성형 AI 특성상 아웃풋의 품질에 대해 수치화하기가 참..

Quantization은 LLM이 화제가 되기 전에도 이미 모델의 complexity 나 cost를 줄이고자 하는 노력의 일환으로 연구가 되어왔던 분야이다. 물론 더 가벼운/저렴한 모델을 만들 때 quantization만이 유일한 대응책은 아니다. 모델 아키텍쳐 경량화 등의 방법도 있겠지만 quantization이 그 중에서도 가장 전후차이가 크다고 한다. LLM 모델들의 성능이 상승함에 따라 점차 일반화/서비스화 고민들이 많아지는 가운데, 갖춰지지 않은 대중적인 환경에서도 모델을 활용할 수 있는 방법에 대한 고민이 많아지는 듯 하다. 과거엔 IoT의 성장과 edge computing에 대한 관심도 한 몫했던 것 같다. 그럼 이번 글은 LLM에서 뜨거운 감자가 되고 있는 Quantization에 대해 간..