오늘 매직아이를 사용해야 할 일(?)이 있었다. 하지만 나는 매직아이를 전혀 할 줄 모른다. 하지만 곰곰히 생각해보니 매직아이가 단순히 초점을 조절해서 보는 것이라면, 왼쪽 눈으로 보는 이미지와 오른쪽 눈으로 보는 이미지를 적절히 겹쳐보는 것이 전부라면, 구현 못할 것도 없다는 생각이 들었다. 문제는 두 눈이 각각 보는 다른 이미지가 뇌에서 어떻게 조합되길래 내가 현재 장면을 볼 수 있는 것인지 모른다는 것이다. 본 것 중 매직아이의 원리를 가장 잘 설명해놓은 영상! 눈으로 들어오는 빛을 혼합하는거니까 그냥 더하거나, 두 색상의 평균을 내야하는 것 아닌가 할 수도 있다. 하지만 매직아이(뿐만 아니라 3D영화, VR 등)는 우리 뇌가 양쪽 눈이 받아들이는 이미지의 차이를 이용한 결과이다. 우리 눈은 간격을..

K-means Clustering 가장 기본이 되는 K-means 클러스터링을 이미지가 아닌 일반적인 관점에서 살펴보자. 먼저 랜덤하게 기준점(centeroid)을 몇 개 정하고, 모든 데이터에 대하여 가장 가까운 기준점으로 묶어 준다. 해당 묶음 안의 데이터를 평균내서 centeroid를 그곳으로 옮긴다. 옮긴 centeroid를 기준으로 다시 모든 데이터를 가장 가까운 기준점으로 묶어준다. 이 것을 centeroid가 움직이지 않을 때 까지 반복한다. 이미지 세그멘테이션에서는 이미지를 R, G, B 도메인에 옮겨놓고 생각하는 것이다. 오른쪽 데이터 분포에서 초기 centeroid를 몇 개 정한 뒤 최적의 centeroid를 찾아나간다. 스스로 최적의 값을 향해 계속해서 업데이트 해 나가기 때문에, 머..

Image Segmentation 인간은 왼쪽 사진만 봐도, 이미지를 구역별로 나눔과 동시에 배경, 북극곰, 빙판, 눈밭을 인식할 수 있다. 하지만 컴퓨터는 먼저 영상을 분할하는 단계를 거쳐야 한다. 분할한 각각을 segmentation이라고 하며 다음 조건을 만족시켜야 한다. 세그멘테이션 끼리 겹쳐선 안 된다. 세그멘테이션들이 이미지 전체를 덮어야 한다. 세그멘테이션 안에 있는 픽셀들은 비슷한 속성을 가져야 한다. 세그멘테이션 끼리는 속성이 구별되어야 한다. 이것은 굉장히 복잡한 문제이다. 이미지에는 다양한 색상과 성분이 존재하기 떄문이다. 더 심각하게 만드는 것의 예시가 위 사진이다. 왼쪽 사진은 오른쪽 사진의 오리와 강물의 경계부분을 확대해 놓은 것이다. 사실 왼쪽 그림만 보고서는 오리와 강물의 경..

FRUC (Frame Rate Up Conversion) 동영상은 이미지의 연속이다. 우리나라 방송국은 1초에 60장의 이미지를 보여줄 수 있는, 60Hz의 데이터를 송출한다. 애초에 60Hz인 영상들은 그대로 내보내면 되겠지만, 보통 해외 영화는 24Hz인 경우가 많다. 이런 경우, 24Hz : 60Hz = 2 : 5, 2장을 5장으로 늘려서 내보내게 된다. 'A B'를 'A A A B B'로 내보내는 것이다. 방송국에서는 어떻게든 60Hz를 만들어 내보낸다 치고, 여기에 1초에 120장을 보여주는 TV가 있다고 해보자. TV가 1초에 120장을 보여주려면 영상의 자연스러움을 위해서 60장의 영상 사이사이에 적절한 이미지를 끼워넣어야 한다. 이 때 어떤 이미지를 끼워 넣을지를 계산해보자는게, FRUC이..

특징 매칭 (Feature Matching) 사실 우리는 아주 고도로 학습된 뇌를 가지고 있기 때문에, 왼쪽 위의 눈 그림을 어디에 올려놓아야 할 지 직관적으로 알 수 있다. 하지만 컴퓨터는 그저 픽셀값을 모니터에 띄울 뿐 해당 사진이 어떤 사진인지 전혀 알 방도가 없다. 컴퓨터는 이 눈을 올려놓을 방법을 어떻게 판단할 수 있을까? Template Matching 눈을 한 칸 한 칸 옮기며, 해당 범위의 픽셀 값과 일치하는지 비교해본다. 연산량이 많고, 변형에 취약하다. Pyramid Template Matching 이미지를 축소(lower resolution)해서 본 다음, 점점 resolution을 올려가며 매칭해본다 연산량을 줄일 수 있으나, 여전히 변형에 취약하다. Model Refinement ..

[정보이론] 정보량과 엔트로피의 의미 정보이론은 신호에 존재하는 정보의 양을 측정하는 이론이다. 정보이론의 핵심은 잘 발생하지 않는 사건은 자주 발생하는 사건보다 정보량이 많다는 것이다. ▶ 정보량이란? 우선 정보이론에서 bskyvision.com 정보이론에서 정보량이란 '놀람의 정도'를 의미한다. 놀람의 정도라는 것은 모두가 알만한 정보가 아니라 새롭고 특이해서 사람들로 하여금 놀람을 일으키는 정도라고 볼 수 있다. 식상한 정보일수록 정보량이 적고, 놀라움을 주는 정보일수록 정보량이 크다. 일반적으로 특정 결과와 관련된 정보량보다 가능한 모든 결과들의 평균 정보량에 더 큰 관심을 갖는다. 엔트로피가 바로 정보량의 기댓값(평균)을 의미한다. 엔트로피는 다음과 같이 계산한다. 엔트로피는 평균 놀람의 정도 ..