[모두를 위한 딥러닝] 활성함수, 초기화, 정규화

활성함수 우리는 SIGMOID 함수를 로지스틱 회귀에서 처음 배웠고, 0에서 1사이의 값으로 데이터를 필터링 해준다는 정도로 알고 있다. 그리고 이 함수는 인간으로 따지면, 뉴런에서 자극을 해석하여 다른 뉴런으로 신호를 만들어 보내는 역치와 비슷한 역할을 한다. 이것을 인공신경망에서는 뉴런을 활성화시켜준다는 뜻으로 '활성함수'라고 부르게 된다. 활성함수에는 SIGMOID만 있는 것이 아니다. 사실 SIGMOID는 치명적인 약점을 가지고 있기 때문에 잘 사용하지 않는다. SIGMOID함수의 출력은 항상 1보다 작기 때문에, SIGMOID함수를 통과한 값들은 서로 곱할수록 점점 줄어들 수 밖에 없다. 비슷한 이유로 우리가 신경망을 학습시키는 방법 '오차역전파'는 뒤로 갈 수록 점점 그 값이 희미해진다. 처음..

2020.08.17