Julie의 Tech 블로그

이번 글에는 지금까지 경진대회에 참가해보면서 이리저리 리서치하고 써봤던 EDA 테크닉을 몇 개 정리하려고 한다. EDA의 결과에 따라 어떤 feature를 사용할 것인지, 어떤 종류의 모델이 적합한지에 대해 파악할 수 있기 때문에 EDA는 무척 중요한 프로세스다. 필자는 대부분 예측(Prediction) 문제를 다루는 대회를 경험해봐서, 예측 모델을 빌딩하는 것을 베이스에 두고 글을 써내려갈 것이다. ​ 여느 대회에 참여하게 되면 가장 먼저 학습데이터를 다운받는 것부터 시작한다. 데이터 명세서까지 제공해주는 친절한 대회라면, 그 명세서를 옆에 두고 데이터를 개괄적으로 둘러보기 시작할 것이다. 이를 바탕으로 가장 먼저 시도해보는 것들은 기본적인 EDA이다. 1. 데이터 이해 - 데이터 사이즈, 스키마 이해..

공유경제란, 물품을 소유의 개념이 아닌 서로 대여 및 차용해 쓰는 개념으로 인식하는 경제활동 시장 플랫폼은 종종 공유경제와도 얽혀 생각할 수 있다. 여기서 의미하는 공유경제의 개념은 조금 더 소비중심의 경제활동에 초점이 맞춰져있다. 예를 들어 우버와 같은 차량공유 플랫폼 역시 공유경제의 개념과 접목할 수 있는 부분들이 있다. 여기서 주의해야할 것은, 공유경제라는 가치가 적용되기 위해서는 경제행위를 통해 가치가 창출되고, 그 창출된 가치가 공동으로 향유할 수 있어야한다. 단순히 차용하여 쓴다고 해서 공유경제라곤 할 수 없고, 차용해서 쓴 가치가 공동이 향유할 수 있는 수준으로 발생해야한다. 우버를 통해 모두가 이동수단으로 개인차량으로 이용하던 것에서, 일부가 공동차량으로 소비하게 됨으로써 사회 전체적으로 ..

Context Adaptation for Smart Recommender Systems https://www.researchgate.net/publication/284218062_Context_Adaptation_for_Smart_Recommender_Systems Introduction 이번에 리뷰할 논문은 지금껏 살펴봤던 알고리즘과 유사하게 context를 반영하는 Bandit 알고리즘이다. 본 논문은 추천 시스템에 있어 Context가 매우 중요하다는 논조로 시작된다. 훌륭한 알고리즘만으로 뛰어난 성과(CTR혹은 전환율)를 이끌어내긴 어렵다고 하며, 사용자의 context 요인도 알고리즘에 반영되어야한다고 한다. 주로 이커머스 시장에서의 추천 시스템에 초점을 맞춰두고 있으며, 아래와 같이 두 가지에..

넷플릭스나 디즈니는 경쟁관계이다. 넷플릭스는 10달러로 3만 5천 시간 분량의 넷플릭스 콘텐츠 모두를 조회할 수 있어 굉장한 인기를 끌었다. 하지만 콘텐츠 보유 강자인 디즈니가 시장에 뛰어들기로 결정한 이후, 둘간의 경쟁을 모두가 관심있게 지켜보았다. 디즈니는 좀 더 저렴한 가격으로 월정액 서비스를 운영하기로 결정하였다. 소비자는 넷플릭스나 디즈니 중 하나를 선택하여 가입을 할 것이다. 둘 다 서비스 시장이기 때문이다. 두 기업 모두 콘텐츠를 제작 혹은 구매하여 소비자에게 제공한다. 반면 유투브는 플랫폼이다. 생산자와 소비자 양쪽이 유투브라는 공간에서 만나 콘텐츠를 공유하기 때문이다. ​ 유투브는 한국에서도 굉장한 인기를 이끌었다. 다양하고도 수많은 콘텐츠들이 생산되어 유통된다. 우리나라는 기획력과 창의..

미디어(Media), 페이스북은 미디어 시장에서의 혁명을 일으켰다고 볼 수 있다. 미디어란 소비자에게 콘텐츠를 제공하는 전달 방식인데, 전통적으로 신문과 방송이 대표적인 매체였었다. 페이스북은 미디어 생산자와 미디어 소비자 간의 벽을 허물었다. 미디어 생산과 유통 과정에 소비자를 참여시켰다. 독점적으로 유통되었던 미디어가 이제는 누구에게나 개방되었고, 소수였던 미디어 생산자는 누구나 될 수 있는 불특정 다수가 되었다. ​ 책에서는 페이스북의 플랫폼으로서의 성장이 구글과 달리 도구의 매력성이나 우월성에서 비롯되지 않았다고 한다. 단지 적절한 시기에 적절한 전략으로 규모를 키웠고, 그 규모가 SNS의 네트워크 효과 덕을 보아 더욱 몸집을 키울 수 있었다고 한다. 트위터나 싸이월드와 같이 페이스북은 SNS로서..

Introduction 여러 이해 관계자들이 존재하는 플랫폼의 추천 시스템은 하나 이상의 최적화 문제를 풀어야한다. 흔히 최적화를 할 때 극대화 혹은 최소화하고자 하는 '목적 함수(objective)'가 있는데, 이 목적 함수가 여럿이라는 것이다. 여기서 목적함수의 개념은 유저의 행동 metric (ex) 클릭, 스트리밍, 체류시간 등), 혹은 플랫폼의 프로모션과 같은 자체 목적 등이 포함된다. 이러한 여러 가지의 metric을 동시에 만족시키기란 현실적으로 힘들다. 따라서 본 논문은 다중 이해관계자가 존재하는 플랫폼 상에서의 다중 목적 최적화 문제를 contextual bandit으로 해결하고자 한다. 일반적으로 다중 목적 최적화 (multi-objective optimization) 을 해결하는 데에..