고양이의 인식 반응 인간은 인공신경망을 만들 때, 뇌를 구성하는 뉴런과 그것이 연결된 구조를 참고했다. CNN 역시, 뇌의 실제 작동방식에 대해 영감을 받아 만들어진 신경망이다. 신경과학자 Hubel과 Wiesel은 한 실험에서 고양이가 화면을 바라볼 때의 뉴런의 반응을 관찰했다. 그 결과, 화면의 어느 곳이 바뀌느냐에 따라 활성화되는 뉴런이 다른 것을 알 수 있었다. 여기서 영감을 얻어 화면에 구역별로 뉴런이 대응되는 형태의 신경망을 생각해냈고, 이것이 CNN이다. 컨벌루션 레이어 5×5 이미지가 주어졌다. 우리는 이것을 '필터'를 낀채, 3×3씩 볼 것이다. 이미지에서 가장 첫 위치에 필터를 놓았다. 필터에는 이미지를 어떻게 볼 것인지 어떤 '가중치'가 적용되어 있고 이것을 토대로 이미지에서 하나의 ..

활성함수 우리는 SIGMOID 함수를 로지스틱 회귀에서 처음 배웠고, 0에서 1사이의 값으로 데이터를 필터링 해준다는 정도로 알고 있다. 그리고 이 함수는 인간으로 따지면, 뉴런에서 자극을 해석하여 다른 뉴런으로 신호를 만들어 보내는 역치와 비슷한 역할을 한다. 이것을 인공신경망에서는 뉴런을 활성화시켜준다는 뜻으로 '활성함수'라고 부르게 된다. 활성함수에는 SIGMOID만 있는 것이 아니다. 사실 SIGMOID는 치명적인 약점을 가지고 있기 때문에 잘 사용하지 않는다. SIGMOID함수의 출력은 항상 1보다 작기 때문에, SIGMOID함수를 통과한 값들은 서로 곱할수록 점점 줄어들 수 밖에 없다. 비슷한 이유로 우리가 신경망을 학습시키는 방법 '오차역전파'는 뒤로 갈 수록 점점 그 값이 희미해진다. 처음..

인간의 지능 인공지능은 말 그대로, 사람이 만든 '지능(Intelligence)'이다. 인간의 입장에서 지능을 개발하기 위해서 인간의 '뇌'의 매커니즘이나 구조를 참고하는 것은 합리적이라고 할 수 있다. 뇌는 여러 뉴런들이 서로서로 그물처럼 연결되어 있는 신경망(Neural Network)의 구조를 가지고 있다. 바로 뉴런의 작동원리를 알아보자. 먼저, 나무의 가지처럼 되어 있는 수상돌기(dendrite)를 통해 자극을 받아들인다. 하지만 이 자극이 너무 작다면, 뉴런에는 아무 일도 일어나지 않는다. 따라서 뉴런에서 신호를 발생시키기 위한 최소한의 자극, 즉 '역치'이상의 자극이 가해져야 한다. 만약 충분한 자극으로 전기신호가 발생했다면, 이는 계속해서 전달되어(axon) 나간다. 이 전기신호가 말단부(..

# 학습계수(하강간격)을 설정한다. learning_rate = 0.1 # 해당 지점의 기울기를 계산한다. gradient = tf.reduce_mean((W * X - Y) * X) # 기울기에 하강간격을 곱한 값을 W에 빼줘서 하강한다. descent = W - learning_rate * gradient # 해당 텐서에 업데이트 해준다. update = W.assign(descent) # tf.GradientDescentOptimizer(learning_rate=0.01) 학습계수 이전에 "[3] 텐서플로우 기초, 선형회귀" 에서 '하강 간격을 조정하기 위한 상수' 쯤으로 언급하고 넘어갔었던 개념이다. 위의 과정은 텐서플로우에 구현되어 있는 예쁜함수 GradientDescentOptimizer()의..

다중 분류 지난 포스팅에서는 0 / 1로 이루어진 데이터를 학습하고 결과를 도출(분류)하는 로지스틱 회귀에 대해서 다뤄보았다. 하지만 우리가 사는 세상은 두 가지 항목만 가지고 분류할 수 없는 것들이 너무나도 많다. 그렇다면 데이터를 여러가지로 구분해내는 다중분류(Multinomial Classification)는 어떻게 구현해낼 수 있을까? 왼쪽 데이터를 보고 세 개를 나누는 것은 사람에게는 일도 아니지만, 컴퓨터는 직관적이지 못하다. 먼저 배운 로지스틱 분류를 활용해보자. 이 문제를 A(빨간색)인 것과 아닌것, B(초록색)인 것과 아닌것, C(파란색)인 것과 아닌 것을 구분하는 세개의 작은 문제로 쪼개는 것이다. import tensorflow as tf tf.set_random_seed(777) x..

공부시간(X)을 늘리면 더 좋은 성적(Y)을 받는 것은 통계적으로 합당할 것이다. 1시간 공부한 사람은 20점, 3시간 공부한 사람은 60점, 4시간 공부한 사람은 80점을 받고, 이는 선형적인 관계에 있다고 할 수 있다. 하지만 모든 데이터가 항상 이런 선형적인 관계에 있는 것은 아니다. 로지스틱 회귀 합격과 불합격으로만 결과가 나오는 P/F 상황을 가정해보자. 1시간 ~ 3시간 공부한 사람은 불합격을 받고, 4~6시간 공부한 사람은 합격을 받았다. 합격=1, 불합격=0 으로 봤을 때 다음 상황을 X=[1, 2, 3, 4, 5, 6], Y=[0, 0, 0, 1, 1, 1] 로 말할 수 있고, 이 데이터를 학습에 이용할 수 있을 것이다. 평소처럼 우리가 H(X) = X*W + b로 가정을 한다면 다음과 ..