[모두를 위한 딥러닝] 학습계수, 데이터 표준화, 과적합

# 학습계수(하강간격)을 설정한다.
learning_rate = 0.1

# 해당 지점의 기울기를 계산한다.
gradient = tf.reduce_mean((W * X - Y) * X)

# 기울기에 하강간격을 곱한 값을 W에 빼줘서 하강한다.
descent = W - learning_rate * gradient

# 해당 텐서에 업데이트 해준다.
update = W.assign(descent)

# tf.GradientDescentOptimizer(learning_rate=0.01)

학습계수

이전에 "[3] 텐서플로우 기초, 선형회귀" 에서 '하강 간격을 조정하기 위한 상수' 쯤으로 언급하고 넘어갔었던 개념이다. 위의 과정은 텐서플로우에 구현되어 있는 예쁜함수 GradientDescentOptimizer()의 과정을 풀어쓴 것이다. 보다시피 타고 내려갈 기울기에 곱해지면서 내려갈 간격을 조정하고 있다. 단순하게 생각했을 때, 산을 내려가도 성큼성큼 내려가면 더 빨리 내려갈 수 있을까 생각할 수 있다.

 

하지만 이는 오버슈팅(Overshooting)을 야기한다. 물론 계산식을 따져볼 수도 있겠지만, 그림으로 느낌을 이해하고 학습계수를 크게 조정해보자. 몇 번 값을 출력하더니 이내 None만 찍는다. 그렇다고 너무 학습계수를 작게 설정한다면, 그 또한 시간이 너무 오래 걸리거나, 무시할 수 있는 정도의 그래프 중간의 굴곡에 수렴해버릴 수도 있다. 코드를 돌려보며 적절한 학습계수를 설정하는 것은 중요하다.

 

 

데이터 표준화

물론 적절한 학습계수를 설정하는 것도 중요하지만, 데이터 자체가 오버슈팅이 너무 쉽게 일어나는 경우도 있다. 위의 그래프에서 한 차원을 더 확장해서 H(x) = W1 * X1 + W2 * X2 와 같은 경우를 생각해보자. 이제 비용(cost)은 W1, W2에 의해 결정되는 함수가 되고 x, y축에 W1, W2를, z축에 cost(W1, W2)를 놓을 수 있다. 2차원에서 밥그릇의 밑바닥을 찾듯이 3차원에서도 구덩이의 바닥을 찾으면 된다. 하지만 이 구덩이가 너무 얇거나 아슬아슬하게 생겼다면 어떨까? 완만하고 넓은 구덩이를 내려가는건 튀어나가기 어렵지만, 좁은 협곡을 내려가기에는 조금만 간격이 넓어도 튀어나가기 쉽다.

 

이를 방지하기 위해 데이터를 표준화하는 과정이 필요하다. 고등학교 때 통계단원에서 배웠던 것이 어렴풋이 생각난다. 
$$\frac{x-m}{\sigma }$$

x = (x_data - np.mean(x_data, axis=0)) / np.std(x_data, axis=0)

 

 

 

---

과적합, 정규화

과적합은 너무 학습데이터에 딱 맞게만 학습해서 우리가 얻고자 하는 결론에서 오히려 멀어지는 것을 의미한다.
해결 방법은 학습 데이터를 더 많이 제공하거나, 정규화를 해주면 된다. 정규화는 너무 큰 가중치는 갖지 않도록 해주는 과정이다. 계산식은 다음과 같다.

reg_strength = 0.001
cost = reg_strength * tf.reduce_sum(tf.square(W))

 

 

앞선 게시물에 링크했던 '모두를 위한 딥러닝' 강의를 듣고 필기한 노트에
추가적으로 공부한 것을 더해 작성한 게시글입니다.