Julie의 Tech 블로그

GPT에 대해 더 깊이 있게 이해하려면 Tokenizer에 대해서도 심도있게 살펴볼 필요가 있다. ChatGPT를 써본 경험이 있는 사람이라면 아래 의문들 중 하나 이상을 마주해본 적이 있을 것이다. 왜 스펠링이 안될까? 왜 문장을 거꾸로 말하라고 하거나 정렬해보라고 하면 안될까? 영어가 아닌 한글로 말할때는 왜 더 안좋은 대답을 줄까? 단순한 수학 연산에 왜 약할까? GPT-2가 왜 비정상적으로 Python coding 성능이 안좋았을까? 왜 |endoftext|라는 string을 보면 멈출까? LLM에서 JSON보다는 YAML을 사용하는게 더 좋을까? 위의 질문에 대한 답은 모두 Tokenization 문제이다. LLM Tokenization 과정은 LLM과 완전히 별도로 분리된 모듈이다. 일반적으로..

본 글은 아래 책을 읽고 요약된 정보입니다. https://product.kyobobook.co.kr/detail/S000211656186 1장에서 보았던 근접성 서비스와는 살짝 다른 특징 근처 사업장 주소는 정적인 정보이지만 주변 친구는 위치가 자주 바뀔 수 있음 개요 지원자: ‘주변에 있다’는 기준은 수치적으로 얼마나 가까운 것인지? 5마일 지원자: 이를 직선거리로 가정해도 되는지? OK 지원자: 얼마나 많은 사람들이 이 앱을 사용하는지? 10억명 중 10% 정도? OK 지원자: 사용자의 이동 이력 보관 여부 Yes 지원자: 친구 관계에 있는 사용자가 10분 이상 비활성 상태면 사용자를 목록에서 사라지게? Yes 지원자: GDPR, CCPA 같은 사생활 및 데이터 보호법 고민 필요? 좋은 지적, 일단..

본 글은 아래 책을 읽고 요약된 정보입니다. https://product.kyobobook.co.kr/detail/S000211656186 개요 현재 위치에서 가장 가까운 시설을 찾는 서비스를 개발 핵심기능 사용자 위치 정보와 검색 반경에 매치되는 사업장 목록 반환 사업장 소유주가 사업장 정보를 추가/삭제/갱신할 수 있지만 검색 결과에 실시간 반영될 필요는 없음 고객은 사업장의 상세 정보를 살필 수 있어야함 비기능 요구사항(non-functional requirements) 낮은 응답 지연: 사용자가 주변 사업장을 신속히 검색 가능해야함 데이터 보호: 사용자 위치 정보는 민감한 개인정보 고가용성, 규모 확장성: 인구 밀집 지역에서 트래픽 감당해야함 개략적 규모 추정 DAU 1억명, 사업장 수 2억 설계안..

Andrej Karpathy가 X에 LLM OS를 출시하려고 준비 중이라며 올린 게시물을 보고 이 글을 쓰기 시작했다. https://twitter.com/karpathy/status/1723140519554105733 GPT4를 프로세서로 사용하고 context window를 RAM으로, 그리고 프로세서가 브라우저와 다른 LLM모델, 파일 시스템, 소프트웨어 툴, 그리고 주변장치 I/O와의 communication이 가능한 형태를 그리고 있다. 이러한 설계가 시작된 배경을 이해해보려면 요즈음의 LLM이 어떤 task 수행이 가능한가를 살펴보면 된다. - text, audio, vision등의 modality가 갖춰진 input, output 처리 - code interpreter, 프로그램을 읽고 쓰는..

MemGPT는 UC Berkley AI Research 랩에서 제안한 기술이며 LLM을 OS 형태로 구성한 새로운 시도 중 하나이다. ArXiv에서는 LLM OS 혹은 LLM system이라고도 말한다. 다른 여타 LLM 모델과는 다르게 output이function call이며, 이 function call은 시스템의 메모리에 대한 접근, read, write 등의 task를 수행한다. 이들이 MemGPT를 통해 궁극적으로 이루고자 했던 바는 OS로의 활용보다는 LLM의 context window 한계를 극복하는 것이다. 개인적으로는 이 부분이 명백하게 와닿지 않았다. Context window를 극복하기 위한 방법 중 하나로 OS가 메모리와 디스크에 번갈아 접근하여 단기 및 장기 기억을 보유하는 것에..

* 이 글은 아래 아티클을 한글로 의역한 내용을 담고 있습니다. https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c The Secret Sauce behind 100K context window in LLMs: all tricks in one place tldr; techniques to speed up training and inference of LLMs to use large context window up to 100K input tokens during training and… blog.gopenai.com 배경 요즈음 등장하는 LLM의 context ..