SWE Julie's life

그래프는 인접행렬(Adjacency Matrix) 또는 인접 리스트(Adjacency List)로 표현된다. 이 그래프들을 주로 input으로 받아 순회하는 알고리즘을 통해 문제를 해결해야하는 경우가 생긴다.오늘은 그래프 순회 알고리즘의 Python 구현 코드와 개념에 대해 간단히 다뤄보려고 한다.그래프 순회는 크게 깊이우선탐색(BFS), 너비우선탐색(DFS)로 나뉜다. 대부분의 알고리즘 문제들은 DFS로 해결이 되는 편이긴 하나 그래프의 최단 경로를 구하는 경우 BFS 알고리즘을 사용할 때도 있다.DFS는 주로 스택을 활용하거나 재귀를 통해 구현되며, BFS는 큐로 구현된다.이 그래프를 예시로 살펴보자.# 그래프는 인접 리스트로 표현graph = [ [], # 0번 노드는 사용하지 ..

GPT에 대해 더 깊이 있게 이해하려면 Tokenizer에 대해서도 심도있게 살펴볼 필요가 있다. ChatGPT를 써본 경험이 있는 사람이라면 아래 의문들 중 하나 이상을 마주해본 적이 있을 것이다. 왜 스펠링이 안될까? 왜 문장을 거꾸로 말하라고 하거나 정렬해보라고 하면 안될까? 영어가 아닌 한글로 말할때는 왜 더 안좋은 대답을 줄까? 단순한 수학 연산에 왜 약할까? GPT-2가 왜 비정상적으로 Python coding 성능이 안좋았을까? 왜 |endoftext|라는 string을 보면 멈출까? LLM에서 JSON보다는 YAML을 사용하는게 더 좋을까? 위의 질문에 대한 답은 모두 Tokenization 문제이다. LLM Tokenization 과정은 LLM과 완전히 별도로 분리된 모듈이다. 일반적으로..

본 글은 아래 책을 읽고 요약된 정보입니다. https://product.kyobobook.co.kr/detail/S000211656186 1장에서 보았던 근접성 서비스와는 살짝 다른 특징 근처 사업장 주소는 정적인 정보이지만 주변 친구는 위치가 자주 바뀔 수 있음 개요 지원자: ‘주변에 있다’는 기준은 수치적으로 얼마나 가까운 것인지? 5마일 지원자: 이를 직선거리로 가정해도 되는지? OK 지원자: 얼마나 많은 사람들이 이 앱을 사용하는지? 10억명 중 10% 정도? OK 지원자: 사용자의 이동 이력 보관 여부 Yes 지원자: 친구 관계에 있는 사용자가 10분 이상 비활성 상태면 사용자를 목록에서 사라지게? Yes 지원자: GDPR, CCPA 같은 사생활 및 데이터 보호법 고민 필요? 좋은 지적, 일단..

본 글은 아래 책을 읽고 요약된 정보입니다. https://product.kyobobook.co.kr/detail/S000211656186 개요 현재 위치에서 가장 가까운 시설을 찾는 서비스를 개발 핵심기능 사용자 위치 정보와 검색 반경에 매치되는 사업장 목록 반환 사업장 소유주가 사업장 정보를 추가/삭제/갱신할 수 있지만 검색 결과에 실시간 반영될 필요는 없음 고객은 사업장의 상세 정보를 살필 수 있어야함 비기능 요구사항(non-functional requirements) 낮은 응답 지연: 사용자가 주변 사업장을 신속히 검색 가능해야함 데이터 보호: 사용자 위치 정보는 민감한 개인정보 고가용성, 규모 확장성: 인구 밀집 지역에서 트래픽 감당해야함 개략적 규모 추정 DAU 1억명, 사업장 수 2억 설계안..

Andrej Karpathy가 X에 LLM OS를 출시하려고 준비 중이라며 올린 게시물을 보고 이 글을 쓰기 시작했다. https://twitter.com/karpathy/status/1723140519554105733 GPT4를 프로세서로 사용하고 context window를 RAM으로, 그리고 프로세서가 브라우저와 다른 LLM모델, 파일 시스템, 소프트웨어 툴, 그리고 주변장치 I/O와의 communication이 가능한 형태를 그리고 있다. 이러한 설계가 시작된 배경을 이해해보려면 요즈음의 LLM이 어떤 task 수행이 가능한가를 살펴보면 된다. - text, audio, vision등의 modality가 갖춰진 input, output 처리 - code interpreter, 프로그램을 읽고 쓰는..

MemGPT는 UC Berkley AI Research 랩에서 제안한 기술이며 LLM을 OS 형태로 구성한 새로운 시도 중 하나이다. ArXiv에서는 LLM OS 혹은 LLM system이라고도 말한다. 다른 여타 LLM 모델과는 다르게 output이function call이며, 이 function call은 시스템의 메모리에 대한 접근, read, write 등의 task를 수행한다. 이들이 MemGPT를 통해 궁극적으로 이루고자 했던 바는 OS로의 활용보다는 LLM의 context window 한계를 극복하는 것이다. 개인적으로는 이 부분이 명백하게 와닿지 않았다. Context window를 극복하기 위한 방법 중 하나로 OS가 메모리와 디스크에 번갈아 접근하여 단기 및 장기 기억을 보유하는 것에..