[모두를 위한 딥러닝] 활성함수, 초기화, 정규화

활성함수

우리는 SIGMOID 함수를 로지스틱 회귀에서 처음 배웠고, 0에서 1사이의 값으로 데이터를 필터링 해준다는 정도로 알고 있다. 그리고 이 함수는 인간으로 따지면, 뉴런에서 자극을 해석하여 다른 뉴런으로 신호를 만들어 보내는 역치와 비슷한 역할을 한다. 이것을 인공신경망에서는 뉴런을 활성화시켜준다는 뜻으로 '활성함수'라고 부르게 된다. 활성함수에는 SIGMOID만 있는 것이 아니다. 사실 SIGMOID는 치명적인 약점을 가지고 있기 때문에 잘 사용하지 않는다.

SIGMOID함수의 출력은 항상 1보다 작기 때문에, SIGMOID함수를 통과한 값들은 서로 곱할수록 점점 줄어들 수 밖에 없다. 비슷한 이유로 우리가 신경망을 학습시키는 방법 '오차역전파'는 뒤로 갈 수록 점점 그 값이 희미해진다. 처음에 입력한 값이 나중에는 줄어들어 출력에 너무도 미미한 영향을 끼치기 때문이다. 이것을 '기울기 소실 문제(Vanishing Gradient)' 라고 한다. 

 

RELU

모두를위한딥러닝 lec10

이러한 문제 때문에 대부분의 코드를 보면 활성함수로 SIGMOID보다는 'RELU'라는 다른 함수를 사용한다. RELU는 REctified Linear Unit의 약자로 직역하면 '정류 선형 유닛'이다. 말은 거창하지만 '정류'는 z < 0 에서 함숫값을 모두 0으로, 그 외에는 SIGMOID처럼 곡선이 아닌 원래의 '선형' 직선을 취하는 것이다. 이 새로운 활성함수는 기울기 소실문제를 해결하면서 훨씬 더 나은 학습결과를 내놓았다. 

# hypothesis = tf.sigmoid(tf.matmul(X, W) + b)
hypothesis = tf.nn.relu(tf.matmul(X, W) + b)

실제로 인공신경망 분야의 연구는 기울기 소실 문제 등의 문제를 직면하며 사실상 버려지는 듯 하였으나, 제프리 힌턴 교수가 다른 활성함수의 사용(RELU 등), 학습변수 초기화 방법 개선(RBM 등)을 제안하고, 컴퓨터 하드웨어의 성능 또한 올라가면서 다시 활발한 연구가 시작된다.

 

Dropout

이전에 과적합에 대해 설명한 적이 있다. 과적합은 우리가 원하지 않는, 너무 학습데이터에만 특정된 가중치를 갖게 되는 것을 말한다. 해결방법으로는, 학습 데이터량을 늘리는 방법과 너무 큰 가중치를 갖지 않도록 정규화하는 방법이 있다. 그리고 신경망에서는 정규화의 또 하나의 방법으로 Dropout을 사용한다. 학습 과정에서 랜덤으로 노드를 꺼버리는 것이다.

어떻게 이것이 학습효율을 개선할 수 있는 방법인지는 잘 이해가 안 될 수도 있지만, 실제로 효과가 있다. 비유해 설명하자면, 각 분야에 대한 전문가들이 모여서 하나의 문제를 푸는데 모두 같이 문제를 의논하는 것보다 랜덤하게 조를 짜서 이야기하다 보면 더 건설적인 이야기가 오고갈 수도 있고 결국 문제해결에 더 도움이 될 수 있는 것과 비슷하다.

# 랜덤으로 꺼버릴 노드의 개수를 비율로 정의한다.
dropout_rate = tf.placeholder("float")

_L1 = tf.nn.relu(tf.add(tf.matmul(X, W), B))
L1 = tf.nn.dropout(_L1, dropout_rate)

 

 

앞선 게시물에 링크했던 '모두를 위한 딥러닝' 강의를 듣고 필기한 노트에
추가적으로 공부한 것을 더해 작성한 게시글입니다.