Julie의 Tech 블로그

지난 글에서 GBM과 앙상블에 대해 다뤄보았는데, 이번엔 GBM 모델 중 대표적인 두 모델을 살펴보고자 한다. GBM모델은 앞선 글에서도 다루었듯이, Boosting기법의 앙상블 모델이기 때문에 성능은 뛰어나나, 연산량이 많아 속도 측면에서 개선하고자 하는 니즈가 있다. ​ lightGBM은 데이터의 size, dimension 측에서 각각 복잡도를 줄일 수 있는 기법을 개발하여 반영하였다. lightGBM 모델 논문을 리뷰한 글은 아래 링크에 있다. https://blog.naver.com/ilovelatale/222298514382 Kaggle Case Study - (2) LightGBM 모델 오늘은 Santender Customer Transaction Prediction 모델에서 우승팀 중 하나..

Kaggle 필사를 하다 보면 가장 흔하게 사용되는 모델들이 있다. 예를 들어 XGBoost와 lightGBM 모델이 그 예로 해당된다. 오늘은 이 두 모델이 근간을 두고 있는 앙상블에 대한 개념을 다시 짚고, Gradient Boosting 알고리즘에 대해 살펴볼 것이다. 앙상블에는 두 가지 타입이 있다. 1. 배깅(Bagging) 배깅은 독립된 모델들의 결과를 합산하여 다수결 투표(Voting)을 통해 결과를 산출하는 것이다. parallel ensemble이라고도 부른다. 위 이미지에서 왼쪽처럼 bootstrap된(=랜덤 복원샘플링) 데이터가 각 분류기에 input되고, 각각에 따른 결과물들을 한 데 결합하여(Aggregation) 중 다수가 추측한 결과대로 결과를 뽑는 것이다. ​ 2. 부스팅(B..

인프라를 구성하고 운영하다보면 성능 이슈가 생길 때도 있다. 시스템 성능에 대해 두 지표가 대표적인데, 응답과 처리량이다. 응답의 경우 처리당 소요시간이며, 처리량은 단위 시간당 처리되는 양을 의미한다. ​ 실제로 시스템을 운영할 때는 응답자 별로 평균값을 계산하여 평균 응답시간을 집계하게 된다. 응답시간은 보통 웹 브라우저로 화면 응답 시간, 결과 표시 시간, 웹 서버 처리 시간, AP서버 처리 시간 등을 합한다. ​ 처리해야하는 양이 많을 경우 병목현상이 생기기도 한다. 3계층형 아키텍쳐에서 아래와 같은 병목 현상들을 볼 수 있다. 1. CPU 병목 현상 2. 메모리 병목 현상 3. 디스크 I/O 병목 현상 4. 네트워크 I/O 병목 현상 5. 애플리케이션 병목 현상 ​ 병목현상을 처리하는 방안으론 ..

이번 글에서는 IT 인프라 아키텍쳐 구조에 대해 살펴볼 것이다. 우리가 흔히 서비스를 구성할 때, IT 인프라 아키텍쳐를 빼놓고선 시작할 수가 없다. IT 인프라는 컴퓨터로 구성되어 있고, '집약형'과 '분할형'으로 구분하여 설계할 수 있다. ​ 집약형의 경우 단순히 대형 컴퓨터로 모두 처리하는 것이다. 이는 확자성 측면에서도, 비용적인 측면에서도 비효율적이다. 요즈음은 가격이 저렴하고 확장성이 높은 '분할형' 구조를 선호하는 편이다. ​ 분할형 아키텍쳐는 또 다시 두 가지 형태로 나뉜다. 첫 째는 수직 분할형 아키텍쳐로, 클라이언트 - 서버로 나뉘는 것이다. 이는 요즈음 흔히 사용되는 개념으로, 클라이언트는 보통 PC, 스마트폰, 태블릿 등이 해당된다. 일례로 HTS를 이용한다고 했을때, 주식 데이터는..

이번 글에서는 Keras 고급형 함수를 사용하지 않고, 간단한 DNN을 구현하는 것을 해보려고 한다. ​ 구현해볼 DNN 모형은 아래와 같이 2개의 데이터 인풋을 받아 1개의 hidden layer로 구성되어 있다. input_dim = 2 hidden_layers = 1 learning_rate = 0.001 weight와 bias는 아래와 같이 tensorflow의 Variable로 구현할 수 있다. weight는 (2,1)의 shape를 갖게 되고, bias는 hidden layer 수에 따라 1개 dimension을 갖게 된다. w = tf.Variable(tf.random.uniform(shape=(input_dim, hidden_units))) b = tf.Variable(tf.zeros(sh..

앞서 살펴본 OSI 모델을 다시 구성해보면, 1. 물리 계층 : 데이터를 전기 신호로 변환하는 데에 필요 2. 데이터 링크 계층 : 랜에서 데이터를 송수신하는 데에 필요 3. 네트워크 계층 : 다른 네트워크에 있는 목적지에 데이터를 전달하기 위해 필요 4. 전송 계층 : 목적지에 정확하게 데이터를 송신하기 위해 필요 5. 응용 계층 : 어플리케이션 등에서 데이터를 송수신하는 데 필요 로 정리할 수 있다. 데이터 링크 계층에서는 맥 주소를, 네트워크에서는 IP주소를, 전송 계층에서는 포트 넘버를 통해 데이터를 주고받고자 한다. 컴퓨터가 웹 서버에 통신하려고 할 때, 전체 과정을 살펴보자. 가장 먼저 3-way handshake로 연결을 확립해야한다. 이를 통해 연결을 확립했다고 가정하자. ​ 브라우저 UR..