Julie의 Tech 블로그

* 이 글은 아래 아티클을 한글로 의역한 내용을 담고 있습니다. https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c The Secret Sauce behind 100K context window in LLMs: all tricks in one place tldr; techniques to speed up training and inference of LLMs to use large context window up to 100K input tokens during training and… blog.gopenai.com 배경 요즈음 등장하는 LLM의 context ..

* 이 글은 여러 자료에서 나왔던 내용을 조합 및 개인의 사용경험을 기반으로 서술되었습니다. LLM으로 무엇을 하느냐에 따라 프롬프트를 작성하는 방법이 달라진다. LLM은 일반적으로 질의응답(QA), 번역, 요약, 대화, 생성, 코딩 등의 task를 수행할 수 있다. 그러나 광범위하게 "내가 지니고 있는 요구사항을 프롬프트에 어떻게 잘 담아서 LLM에게 설명할 수 있을까"라는 관점에서 프롬프트 작성 가이드를 정리해보자면 아래와 같다. 프롬프트에는 일반적으로 3가지의 정보가 포함되어야한다. 1. Topic / Task or Role 2. Input, Output Indicator 3. Current Input 첫 시작은 보통 LLM에게 너는 어떤 역할을 해야한다 혹은 하고자 하는 도메인에 대한 일반적인 설..