Julie의 Tech 블로그

이번 글에서는 Keras 고급형 함수를 사용하지 않고, 간단한 DNN을 구현하는 것을 해보려고 한다. ​ 구현해볼 DNN 모형은 아래와 같이 2개의 데이터 인풋을 받아 1개의 hidden layer로 구성되어 있다. input_dim = 2 hidden_layers = 1 learning_rate = 0.001 weight와 bias는 아래와 같이 tensorflow의 Variable로 구현할 수 있다. weight는 (2,1)의 shape를 갖게 되고, bias는 hidden layer 수에 따라 1개 dimension을 갖게 된다. w = tf.Variable(tf.random.uniform(shape=(input_dim, hidden_units))) b = tf.Variable(tf.zeros(sh..

딥러닝은 DNN 모델을 마케팅용으로 바꾼 용어이다. DNN모델을 학습하는 것을 딥러닝이라고 한다. * DNN = Deep Nerual Network, 퍼셉트론을 다층으로 연결한 것을 말한다. ​ DNN 종류로는 두 가지가 있다. 1. 단층 퍼셉트론 (SLP) 2. 다층 퍼셉트론 (MLP) ​ 단층 퍼셉트론은 input layer과 output layer 로만 구성된 것이다. input을 받는 node와 output layer로 구성된 Perceptron layer가 있다. ​ 다층 퍼셉트론은 우리가 흔히 말하는 딥러닝 모델의 타입을 이야기한다. input으로 받는 node와 1개 이상의 hidden layer과 output layer로 구성된다. ​ output layer는 우리가 모델을 통해 풀고자하는..

오늘은 Santender Customer Transaction Prediction 모델에서 우승팀 중 하나가 사용했던 lightGBM 모델의 논문을 살펴본 결과를 공유할 것이다. 모델이 뿌리를 두고 있는 앙상블 기법과 GBT 모델에 대해 간단히 살펴보고, lightGBM이 새로 도입한 두 가지 기법에 대해 알고리즘적으로 살펴볼 것이다. ​ 이 모델의 근간이 되는 GBM과 앙상블에 대해 정리된 글은 아래 링크에 있다. https://blog.naver.com/ilovelatale/222320553535 앙상블과 GBM(Gradient Boosting) 알고리즘 Kaggle 필사를 하다 보면 가장 흔하게 사용되는 모델들이 있다.예를 들어 XGBoost와 lightGBM 모델... blog.naver.com ..

딥러닝 프레임워크 중 하나인 keras는 모델을 빌드할 때 두 가지 방법으로 할 수 있다. 첫째는 함수형 API이고, 두 번째는 Sequential 모델을 사용하는 것이다. ​ Sequential 모델은 input과 output이 하나라고 가정한다. 여러 경우에는 sequential 모델을 사용해도 문제가 없지만, 데이터 소스가 다양할 때 등 일부 case에서는 함수형 API가 필요할 때도 있다. ​ 예를 들어 텍스트 데이터와 이미지 데이터, 메타 데이터 세 가지를 합쳐 각각 모델을 만들고, 모델의 결과를 가중평균하여 output을 낸다고 할 때, 이 때는 input과 output이 하나가 아니기 때문에 함수형 API가 필요하게 된다. ​ 또한 Google의 Inception module이나 Resnet..

분류 머신러닝은 학습 타입에 따라 아래와 같이 구분해볼 수 있다. ​ - 지도학습 : 정답 데이터(target)가 있는 것. 대부분 분류와 회귀 추가로 시퀀스 생성, 구문 트리 예측, 물체 감지, 이미지 분할 등이 있음 - 비지도 학습 : input 데이터에 대한 변환을 찾아내는 것. 차원축소, 군집 등이 해당 - 자기 지도 학습 : label이 필요하지만, input 데이터로부터 생성. 사람이 개입되지 않는 지도 학습 - 강화 학습 : 보상을 최대화하는 행동을 선택하도록 학습하는 것. 대부분 게임에 집중되어있음 모델 평가 우리가 어느 도메인에서 머신러닝을 돌리더라도, 항상 '일반적인' 모델을 세우고자 노력한다. '일반적'이라는 것은 어느 특정한 데이터 셋에 한정된 모델이 아니라는 것인데, 이를 위해 과..

keras의 인터넷 영화 DB(IMDB)로 이진분류 모델링을 실습해볼 것이다. ​ from keras.datasets import imdb (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words = {}) num_words 파라미터는 시퀀스에서 가장 빈번하게 등장하는 상위 x개 만큼을 사용하겠다는 것이다. 1만개를 적용하게 되면 상위 1만개 빈번 단어가 출력된다. ​ train_data를 프린트해보면 알겠지만, 여러 정수형 원소들이 들어있는 리스트의 묶음체이다. ​ 신경망에는 숫자 리스트를 input할 수 없어, 리스트를 텐서로 변환해야한다. 두 가지 방법 정도로 정리할 수 있는데, 1) 리스트에 패딩을 추가하여 시퀀..