딥러닝 기초 - 노드와 퍼셉트론

딥러닝은 DNN 모델을 마케팅용으로 바꾼 용어이다.

DNN모델을 학습하는 것을 딥러닝이라고 한다.

* DNN = Deep Nerual Network, 퍼셉트론을 다층으로 연결한 것을 말한다.

​

DNN 종류로는 두 가지가 있다.

1. 단층 퍼셉트론 (SLP)

2. 다층 퍼셉트론 (MLP)

​

단층 퍼셉트론은 input layer과 output layer 로만 구성된 것이다.

input을 받는 node와 output layer로 구성된 Perceptron layer가 있다.

​

다층 퍼셉트론은 우리가 흔히 말하는 딥러닝 모델의 타입을 이야기한다.

input으로 받는 node와 1개 이상의 hidden layer과 output layer로 구성된다.

​

output layer는 우리가 모델을 통해 풀고자하는 문제의 타입에 따라 정해진다.

만약 회귀분석을 정하게 된다면, output layer는 값을 그대로 내보내는 항등함수(=)로 구성된다.

분류분석시에는 확률분포로 변경해주는 softmax 함수를 이용한다.

​

이 내용에 대해서는 앞선 글에서도 다뤘었다.

​

이러한 모델이 간단하게 돌아가는 과정을 정리하면,

1. 데이터 input

2. hidden layer로 데이터 전달

3. activation function

4. 1-3 Repetition

5. output layer 로 전달

​

학습에 소요되는 파라미터 수를 계산하는 방식에 대해 잠깐 짚고 넘어가면,

input layer : 4 node

hidden layer : 6 perceptron

output layer : 2 perceptron

일 때, weight와 bias 파라미터 개수를 계산하는 것이다.

input > hidden layer에서는 weight는 4 node x 6 perceptron으로 24개의 weight로 구성되고,

bias는 6 perceptron이기 때문에 6 bias로 구성된다.

hidden layer > output layer에서는 6 perceptron과 2 perceptron이 서로 연결되어 12개의 weight와

2개의 perceptron에 대한 bias가 생기기 때문에 총 2개의 bias가 생긴다.

따라서 총 36개의 weight와 8개의 bias를 학습해야하기 때문에 총 44개의 파라미터를 학습하는 모델이 된다.

​

이러한 계산법에 따라 모델의 복잡도와 학습에 소요되는 시간을 유추해볼 수 있다.