Julie의 Tech 블로그

이번 글에는 지금까지 경진대회에 참가해보면서 이리저리 리서치하고 써봤던 EDA 테크닉을 몇 개 정리하려고 한다. EDA의 결과에 따라 어떤 feature를 사용할 것인지, 어떤 종류의 모델이 적합한지에 대해 파악할 수 있기 때문에 EDA는 무척 중요한 프로세스다. 필자는 대부분 예측(Prediction) 문제를 다루는 대회를 경험해봐서, 예측 모델을 빌딩하는 것을 베이스에 두고 글을 써내려갈 것이다. ​ 여느 대회에 참여하게 되면 가장 먼저 학습데이터를 다운받는 것부터 시작한다. 데이터 명세서까지 제공해주는 친절한 대회라면, 그 명세서를 옆에 두고 데이터를 개괄적으로 둘러보기 시작할 것이다. 이를 바탕으로 가장 먼저 시도해보는 것들은 기본적인 EDA이다. 1. 데이터 이해 - 데이터 사이즈, 스키마 이해..

Context Adaptation for Smart Recommender Systems https://www.researchgate.net/publication/284218062_Context_Adaptation_for_Smart_Recommender_Systems Introduction 이번에 리뷰할 논문은 지금껏 살펴봤던 알고리즘과 유사하게 context를 반영하는 Bandit 알고리즘이다. 본 논문은 추천 시스템에 있어 Context가 매우 중요하다는 논조로 시작된다. 훌륭한 알고리즘만으로 뛰어난 성과(CTR혹은 전환율)를 이끌어내긴 어렵다고 하며, 사용자의 context 요인도 알고리즘에 반영되어야한다고 한다. 주로 이커머스 시장에서의 추천 시스템에 초점을 맞춰두고 있으며, 아래와 같이 두 가지에..

지난번 논문 리뷰에 이어 stochastic bandit 모델을 한 번 더 살펴볼 것이다. 이번 논문은 좀 더 간단하다. A contextual-bandit Algorithm for Mobile Context-Aware Recommender System https://www.researchgate.net/publication/235683567_A_Contextual_Bandit_Algorithm_for_Mobile_Context-Aware_Recommender_System Introduction 본 논문은 moblie context-aware recommender system, 줄여서 CARS 추천시스템 모델이다. 요즈음 사람들은 휴대폰에 많은 콘텐츠를 저장하고 사용하는데, 그 저장소에는 빈번히 새로운 ..

본 편에서는 지난번 논문 리뷰를 통해 살펴본 NCF를 실제 데이터셋과 연동하여 학습하고, 결과를 내볼 것이다. Github에 기재된 코드가 모두 python2.x버전일 뿐더러, keras 역시 굉장히 down grade된 버전이라, 현 버전에 맞추어 코드를 작성하였다. https://github.com/myevertime/Neural-Collaborative-Filtering 우선 논문 github을 clone하여 코드를 다운받는다. 그 후 이미지를 빌드하여 생성한다. $ git clone https://github.com/hexiangnan/neural_collaborative_filtering $ cd neural_collaborative_filtering $ docker build --no-cach..

대부분의 서버와 프락시는 HTTP 트랜젝션이 일어났던 히스토리에 대해 로그를 남겨둔다. 사용 추적이나 보안 혹은 통계를 집계하기 위한 용도로 사용된다. ​ 일반적으로 로깅하는 정보는 아래와 같다. - HTTP 메서드 - 요청받은 리소스의 URL - 응답 HTTP 상태 코드 - 요청과 응답 메시지 크기 - 트랜잭션 발생 시간 - Referer, User-Agent 값 ​ 로그 포맷에는 여러 표준이 있는데, 대표적인 포맷에 대해서만 살펴보자. * 일반 로그 포맷 : 가장 많이 사용되는 일반적인 포맷이고, 아래와 같은 구성요소들이 있다. - remotehost : 요청한 호스트명 혹은 IP주소 - username : 인증된 요청자 이름 - auth-username : 인증을 수행했을 경우 인증된 요청자 이름 ..

HTTP는 웹 내에서 많은 프로토콜에 의해 영향을 받는데, 이 때 송신자와 수신자 사이에서 목적지를 올바르게 찾아갈 줄 알아야 한다. 리다이렉션 기술은 최종 목적지를 결정하는 네트워크 기법이며 프락시, 캐시, 혹은 서버팜 등 어떤 서버에서 끝나는지 판별하는 데에 사용된다. ​ 리다이렉션은 요즈음의 웹에서 반드시 필요한 요소이다. HTTP 어플리케이션은 신뢰성과 낮은 지연성, 네트워크 대역폭 절약과 같은 이유로 여러 장소에 배포되기 때문이다. HTTP는 여러 배포 장소 중 어느 곳으로 도착해야 빠르게 리소스에 접근이 가능할지, 네트워크 혼잡도를 줄일 수 있을지 판단할 수 있어야한다. Redirection과 동시에 Load-Balancing(부하 균형)도 함께 고민이 되어야하는데, 둘은 공존하는 문제이기 때..