SWE Julie's life

25년 1월 중순, 샌프란시스코에 딱 떨어지게 되었다. 5년을 다녔던 회사에 휴직계를 내고, 갑자기 맞이하게 된 기약없는 휴식기간에 약간 얼이 빠졌다. 6개월 일찍 홀로 미국에서 정착하고 있던 남편이 구해둔 신혼집에서 낮시간 동안 하릴없이 지냈다. 대충 가구와 기본적인 식기류들이 마련되어 있었다. 연고가 전혀 없는 지역이었던지라 주말엔 남편의 친구들을 소개받았다. 그럼에도 새로운 곳에 덩그러니 남겨진 공허함이 시간이 지날수록 짙어졌다.​문득 나만의 것이 없다는 느낌이 들었다. 집도 가구도 분명하게 '우리'의 것이지만 그래도 남편이 구해둔 공간에 내가 들어가 지내는 느낌이 들었다. 남편 친구들도 모두 소속이 있어 자신만의 삶을 그려나가는 느낌이었다. 나도 나만의 회사, 나만의 공간, 나만의 것을 갖고 싶다..

그래프는 인접행렬(Adjacency Matrix) 또는 인접 리스트(Adjacency List)로 표현된다. 이 그래프들을 주로 input으로 받아 순회하는 알고리즘을 통해 문제를 해결해야하는 경우가 생긴다.오늘은 그래프 순회 알고리즘의 Python 구현 코드와 개념에 대해 간단히 다뤄보려고 한다.그래프 순회는 크게 깊이우선탐색(BFS), 너비우선탐색(DFS)로 나뉜다. 대부분의 알고리즘 문제들은 DFS로 해결이 되는 편이긴 하나 그래프의 최단 경로를 구하는 경우 BFS 알고리즘을 사용할 때도 있다.DFS는 주로 스택을 활용하거나 재귀를 통해 구현되며, BFS는 큐로 구현된다.이 그래프를 예시로 살펴보자.# 그래프는 인접 리스트로 표현graph = [ [], # 0번 노드는 사용하지 ..

GPT에 대해 더 깊이 있게 이해하려면 Tokenizer에 대해서도 심도있게 살펴볼 필요가 있다. ChatGPT를 써본 경험이 있는 사람이라면 아래 의문들 중 하나 이상을 마주해본 적이 있을 것이다. 왜 스펠링이 안될까? 왜 문장을 거꾸로 말하라고 하거나 정렬해보라고 하면 안될까? 영어가 아닌 한글로 말할때는 왜 더 안좋은 대답을 줄까? 단순한 수학 연산에 왜 약할까? GPT-2가 왜 비정상적으로 Python coding 성능이 안좋았을까? 왜 |endoftext|라는 string을 보면 멈출까? LLM에서 JSON보다는 YAML을 사용하는게 더 좋을까? 위의 질문에 대한 답은 모두 Tokenization 문제이다. LLM Tokenization 과정은 LLM과 완전히 별도로 분리된 모듈이다. 일반적으로..

본 글은 아래 책을 읽고 요약된 정보입니다. https://product.kyobobook.co.kr/detail/S000211656186 1장에서 보았던 근접성 서비스와는 살짝 다른 특징 근처 사업장 주소는 정적인 정보이지만 주변 친구는 위치가 자주 바뀔 수 있음 개요 지원자: ‘주변에 있다’는 기준은 수치적으로 얼마나 가까운 것인지? 5마일 지원자: 이를 직선거리로 가정해도 되는지? OK 지원자: 얼마나 많은 사람들이 이 앱을 사용하는지? 10억명 중 10% 정도? OK 지원자: 사용자의 이동 이력 보관 여부 Yes 지원자: 친구 관계에 있는 사용자가 10분 이상 비활성 상태면 사용자를 목록에서 사라지게? Yes 지원자: GDPR, CCPA 같은 사생활 및 데이터 보호법 고민 필요? 좋은 지적, 일단..

본 글은 아래 책을 읽고 요약된 정보입니다. https://product.kyobobook.co.kr/detail/S000211656186 개요 현재 위치에서 가장 가까운 시설을 찾는 서비스를 개발 핵심기능 사용자 위치 정보와 검색 반경에 매치되는 사업장 목록 반환 사업장 소유주가 사업장 정보를 추가/삭제/갱신할 수 있지만 검색 결과에 실시간 반영될 필요는 없음 고객은 사업장의 상세 정보를 살필 수 있어야함 비기능 요구사항(non-functional requirements) 낮은 응답 지연: 사용자가 주변 사업장을 신속히 검색 가능해야함 데이터 보호: 사용자 위치 정보는 민감한 개인정보 고가용성, 규모 확장성: 인구 밀집 지역에서 트래픽 감당해야함 개략적 규모 추정 DAU 1억명, 사업장 수 2억 설계안..

Andrej Karpathy가 X에 LLM OS를 출시하려고 준비 중이라며 올린 게시물을 보고 이 글을 쓰기 시작했다. https://twitter.com/karpathy/status/1723140519554105733 GPT4를 프로세서로 사용하고 context window를 RAM으로, 그리고 프로세서가 브라우저와 다른 LLM모델, 파일 시스템, 소프트웨어 툴, 그리고 주변장치 I/O와의 communication이 가능한 형태를 그리고 있다. 이러한 설계가 시작된 배경을 이해해보려면 요즈음의 LLM이 어떤 task 수행이 가능한가를 살펴보면 된다. - text, audio, vision등의 modality가 갖춰진 input, output 처리 - code interpreter, 프로그램을 읽고 쓰는..