목록GPT (3)

SWE Julie's life

Secret of Long Context Length

* 이 글은 아래 아티클을 한글로 의역한 내용을 담고 있습니다. https://blog.gopenai.com/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c The Secret Sauce behind 100K context window in LLMs: all tricks in one place tldr; techniques to speed up training and inference of LLMs to use large context window up to 100K input tokens during training and… blog.gopenai.com 배경 요즈음 등장하는 LLM의 context ..
Tech/ML, DL 2023. 11. 25. 16:51
Vector Store: Azure Vector Search에 대하여

이번 글은 Azure에서 LLM기반 어플리케이션의 best-practice 아키텍쳐 중에서 QA엔진에서 주로 사용되는 Azure Vector Search 서비스에 대한 설명과 서비스 이용해본 경험을 바탕으로 내린 한계와 후기를 담으려고 한다. https://learn.microsoft.com/ko-kr/azure/architecture/solution-ideas/articles/cognitive-search-with-skillsets 참고할만한 자료 Official Docs: https://learn.microsoft.com/en-us/azure/search/ Official Code Repo: https://github.com/Azure/cognitive-search-vector-pr/tree/main..
Tech 2023. 8. 22. 23:29
LLM으로 어플리케이션 만들기 - LangChain이란

최근 ChatGPT의 흥행 이후 많은 LLM 기반 패키지들이 생겨나고 있다. 마치 물이 들어오기를 기다리고 있었던 선박들 마냥 기존의 라이브러리를 확장해서 오픈 소스로 공개하기도하고, 기존 서비스에 extension으로 확장해서 사용할 수 있게끔 기능을 제공하는 등 LLM ecosystem이 더 풍부해지고 있다. 그 중에서도 오늘 글은 LangChain이란 LLM으로 E2E Application을 개발할 수 있도록 해주는 프레임워크에 대해 다뤄볼 것이다. 개인적으로 독스나 코드를 보며 여러 방면에서 가려운 곳을 정확히 긁어주고 있어 감동(?)받았었다. LangChain은 여러 모듈로 구성되어있는데, 그 모듈들로 Application을 아래와 같이 확장해나갈 수 있다. LLMs: LM에 input을 넣어 ..
Tech/ML, DL 2023. 4. 9. 17:45
이전 Prev 1 Next 다음