SWE Julie's life

Andrej Karpathy가 X에 LLM OS를 출시하려고 준비 중이라며 올린 게시물을 보고 이 글을 쓰기 시작했다. https://twitter.com/karpathy/status/1723140519554105733 GPT4를 프로세서로 사용하고 context window를 RAM으로, 그리고 프로세서가 브라우저와 다른 LLM모델, 파일 시스템, 소프트웨어 툴, 그리고 주변장치 I/O와의 communication이 가능한 형태를 그리고 있다. 이러한 설계가 시작된 배경을 이해해보려면 요즈음의 LLM이 어떤 task 수행이 가능한가를 살펴보면 된다. - text, audio, vision등의 modality가 갖춰진 input, output 처리 - code interpreter, 프로그램을 읽고 쓰는..

MemGPT는 UC Berkley AI Research 랩에서 제안한 기술이며 LLM을 OS 형태로 구성한 새로운 시도 중 하나이다. ArXiv에서는 LLM OS 혹은 LLM system이라고도 말한다. 다른 여타 LLM 모델과는 다르게 output이function call이며, 이 function call은 시스템의 메모리에 대한 접근, read, write 등의 task를 수행한다. 이들이 MemGPT를 통해 궁극적으로 이루고자 했던 바는 OS로의 활용보다는 LLM의 context window 한계를 극복하는 것이다. 개인적으로는 이 부분이 명백하게 와닿지 않았다. Context window를 극복하기 위한 방법 중 하나로 OS가 메모리와 디스크에 번갈아 접근하여 단기 및 장기 기억을 보유하는 것에..

* 이 글은 아래 아티클을 한글로 의역한 내용을 담고 있습니다. https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c The Secret Sauce behind 100K context window in LLMs: all tricks in one place tldr; techniques to speed up training and inference of LLMs to use large context window up to 100K input tokens during training and… blog.gopenai.com 배경 요즈음 등장하는 LLM의 context ..

* 이 글은 여러 자료에서 나왔던 내용을 조합 및 개인의 사용경험을 기반으로 서술되었습니다. LLM으로 무엇을 하느냐에 따라 프롬프트를 작성하는 방법이 달라진다. LLM은 일반적으로 질의응답(QA), 번역, 요약, 대화, 생성, 코딩 등의 task를 수행할 수 있다. 그러나 광범위하게 "내가 지니고 있는 요구사항을 프롬프트에 어떻게 잘 담아서 LLM에게 설명할 수 있을까"라는 관점에서 프롬프트 작성 가이드를 정리해보자면 아래와 같다. 프롬프트에는 일반적으로 3가지의 정보가 포함되어야한다. 1. Topic / Task or Role 2. Input, Output Indicator 3. Current Input 첫 시작은 보통 LLM에게 너는 어떤 역할을 해야한다 혹은 하고자 하는 도메인에 대한 일반적인 설..

오늘은 ChatGPT의 등장 이후 여러 GPT 모델을 써보면서 가장 크게 변화되었다고 생각하는 영역에 대해 지극히 개인적인 주관을 정리해보려고 한다. 가장 크게 영향을 받은 영역은 1) 검색 그리고 2) 프로그래밍이라고 생각한다. 물론 나는 비즈니스 사이드에서 일하는 사람이 아니기 때문에 리서치 등의 비즈니스 영역의 task는 시켜보지 않아서 그들은 시작부터 고려대상이 아니었다는 점을 감안하고 읽어봐주길 바란다! 우선 검색부터 보자면, 자연어 기반 검색이 가능해졌다. 이는 개인이 얻는 정보의 질적인 차이를 줄여주지 않을까 생각했다. 예전에는 필요한 검색을 정확한 키워드로 찾아야만 볼 수 있었다면 이제는 LLM기반으로 시야의 제한을 확장해준 느낌이다. 내가 나의 능력으로 만들 수 있는 꼬깔콘은 조그마한데,..

이번 글은 Azure에서 LLM기반 어플리케이션의 best-practice 아키텍쳐 중에서 QA엔진에서 주로 사용되는 Azure Vector Search 서비스에 대한 설명과 서비스 이용해본 경험을 바탕으로 내린 한계와 후기를 담으려고 한다. https://learn.microsoft.com/ko-kr/azure/architecture/solution-ideas/articles/cognitive-search-with-skillsets 참고할만한 자료 Official Docs: https://learn.microsoft.com/en-us/azure/search/ Official Code Repo: https://github.com/Azure/cognitive-search-vector-pr/tree/main..