Julie의 Tech 블로그

웹로봇이란, 유저와의 상호작용 없이 웹 트랜잭션들을 자동으로(automatic) 수행하는 사용자 에이전트이다. 예를 들어 실시간 트랜잭션을 플랏팅하여 그래프를 생성하는 그래프 로봇, 이커머스 몰에서 주로 사용하는 가격비교 봇 등이 있다. ​ 페이지를 순차적으로 읽어오는 웹 크롤러는 검색 엔진에서 사용자가 특정 단어를 검색하였을 때 결과 페이지를 전달하는 데에 사용된다. 이 크롤러에게는 시작할 포인트인 루트 집합(root set)을 지정해주게 된다. 보통 인기 있는 웹사이트 페이지들을 담고 있는 루트 경로를 사용한다. 이 때 루프에 빠지지 않게 주의해야한다. 이를 위해 로봇은 스스로가 어떤 경로로 방문해왔는지를 알고 있어야한다. 루프에 빠지면 크롤러 본인도 시간을 허비하게 되지만, 서버도 부담이 되기 때문..

캐시는 흔히 듣는 단어이다. 자주 쓰이는 문서를 자동으로 보관하여, 캐시에 로컬 사본이 있으면 서버가 아닌 캐시로부터 제공한다. 캐시는 이처럼 네트워크 요금 비용을 줄여줄 뿐더러, 처리 속도를 개선해준다. 좀 더 자세히 캐시의 장점에 대해 살펴보자. ​ 여러 클라이언트에서 동일한 문서에 접근할 때, 가장 첫 요청에 따른 응답이 캐시에 저장된다. 그 후에 요청하는 클라이언트들은 모두 캐시 서버로부터 데이터를 전달받게 된다. 이에 따라 네트워크의 대역폭 병목을 줄여줄 수도 있다. 먼 서버까지 접근하지 않아도 되기 때문이다. 갑작스럽게 이슈가 터져 서버로의 접근 트래픽이 과도하게 많아질 경우에도 서버 과부하를 줄여주는 역할을 한다. 또한 거리로 인한 처리 지연 문제도 캐시 서버를 클라이언트 가깝게 위치하도록 ..

논문 리뷰 - Matrix Factorization Techniques for Recommender System 추천 시스템은 크게 CF(Collaborative Filtering), CBF(Content-based Filtering)으로 나뉜다. CBF는 유저와 아이템에 대해 각각 Profile DB를 구성한다. 아이템일 경우 예를 들어 영화라고 한다면, 출연하는 배우, 장르, 제작년도 등에 대해 담을 수 있다. 오늘 볼 알고리즘은 CF모델에 해당하는데, CF는 기존의 유저-아이템간의 관계를 파악하여 새로운 유저-아이템간 추천을 해주게 된다. CBF와는 달리 명시적(explicit)인 데이터를 이용하며, 주로 평가(rating)와 같은 과거 경험 데이터를 사용한다. 이 때문에 Cold start pro..

오늘 글은 웹서버와 프락시에 대해 다룰 것이다. ​ 웹 서버는 기본적으로 HTTP와 TCP 처리를 하는 일을 한다. 자신이 보유하고 있는 리소스를 관리하고, HTTP 프로토콜을 구현하며 서버 관리 기능을 제공한다. 웹 서버를 만들고자 한다면, 여러 웹 서버 프로그램들 중 널리 사용되는 것들을 이용해볼 수 있다. (ex. microsoft, apache, nginx..) 샘플로 웹서버를 만들려면, 아파치 서버는 가상 호스팅, 접근 제어, 모니터링 등의 풍부한 기능을 제공하기 때문에 채택하기 어렵고, 간단하게 펄 코드 30줄 이하로 작성해볼 수 있다. 이 코드는 TCP 소켓을 생성하고, 커넥션을 기다린 뒤 요청 메시지를 받아 응답을 만들어내는 간단한 서버이다. ​ 실제로 웹서버는 이와 유사하게 동작한다. 1..

오늘은 Docker official docs에 있는 가이드대로 도커 이미지를 생성하고 빌드하는 과정을 해볼 것이다. Python을 이용하여 간단한 웹 어플리케이션을 개발해볼 것이다. 참조 링크 : https://docs.docker.com/language/python/build-images/ Build your Python image Learn how to build your first Docker image by writing a Dockerfile docs.docker.com 필요한 환경은 아래와 같다. - python 버전 3.8이상 - Docker - IDE (ex. Visual Studio Code) ​ 우선 프로젝트를 수행할 폴더를 하나 생성한다. Flask라는 프레임워크를 사용하여 웹을 간단..

요즈음 상품 추천 알고리즘에 대해 고민을 많이 하면서, 리서칭하다 보면 MAB 접근법 등 Bandit 이라는 개념이 많이 등장한다. 이번 글에서는 Bandit 알고리즘이란 무엇이며, 추천시스템과는 어떻게 연결되는지를 살펴보고자 한다. 그리고 MAB 문제를 해결하는 여러 알고리즘에 대해 정리해볼 것이다. ​ 우선 수확(Exploitation)과 탐험(Exploration)이라는 개념에 대해 고찰해보자. 우리가 어떤 레스토랑에서 밥을 먹을지 고민을 하고 있다고 가정해보자. 우리는 하나의 레스토랑에서 밥을 먹을 수 밖에 없고, 비용을 지불해야하니 가장 맛있는 레스토랑에서 식사를 하고 싶다. 수확이란 가장 효용이 높은 곳에서 집중적으로 보상을 받는 행동을 의미하고, 탐험은 지금껏 해보지 않은 경험이라 새로운 시..