SWE Julie's life

Andrej Karpathy가 X에 LLM OS를 출시하려고 준비 중이라며 올린 게시물을 보고 이 글을 쓰기 시작했다. https://twitter.com/karpathy/status/1723140519554105733 GPT4를 프로세서로 사용하고 context window를 RAM으로, 그리고 프로세서가 브라우저와 다른 LLM모델, 파일 시스템, 소프트웨어 툴, 그리고 주변장치 I/O와의 communication이 가능한 형태를 그리고 있다. 이러한 설계가 시작된 배경을 이해해보려면 요즈음의 LLM이 어떤 task 수행이 가능한가를 살펴보면 된다. - text, audio, vision등의 modality가 갖춰진 input, output 처리 - code interpreter, 프로그램을 읽고 쓰는..

MemGPT는 UC Berkley AI Research 랩에서 제안한 기술이며 LLM을 OS 형태로 구성한 새로운 시도 중 하나이다. ArXiv에서는 LLM OS 혹은 LLM system이라고도 말한다. 다른 여타 LLM 모델과는 다르게 output이function call이며, 이 function call은 시스템의 메모리에 대한 접근, read, write 등의 task를 수행한다. 이들이 MemGPT를 통해 궁극적으로 이루고자 했던 바는 OS로의 활용보다는 LLM의 context window 한계를 극복하는 것이다. 개인적으로는 이 부분이 명백하게 와닿지 않았다. Context window를 극복하기 위한 방법 중 하나로 OS가 메모리와 디스크에 번갈아 접근하여 단기 및 장기 기억을 보유하는 것에..