[컴퓨터 비전] Image Segmentation

Image Segmentation

인간은 왼쪽 사진만 봐도, 이미지를 구역별로 나눔과 동시에 배경, 북극곰, 빙판, 눈밭을 인식할 수 있다. 하지만 컴퓨터는 먼저 영상을 분할하는 단계를 거쳐야 한다. 분할한 각각을 segmentation이라고 하며 다음 조건을 만족시켜야 한다.

• 세그멘테이션 끼리 겹쳐선 안 된다.
• 세그멘테이션들이 이미지 전체를 덮어야 한다.
• 세그멘테이션 안에 있는 픽셀들은 비슷한 속성을 가져야 한다.
• 세그멘테이션 끼리는 속성이 구별되어야 한다.

 

이것은 굉장히 복잡한 문제이다. 이미지에는 다양한 색상과 성분이 존재하기 떄문이다. 더 심각하게 만드는 것의 예시가 위 사진이다. 왼쪽 사진은 오른쪽 사진의 오리와 강물의 경계부분을 확대해 놓은 것이다. 사실 왼쪽 그림만 보고서는 오리와 강물의 경계를 나누기란 거의 불가능하다. 세그멘테이션을 위해서는 어쩔 수 없이 이미지 전체의 global한 특성을 봐야한다. 이 어려운 것을 어떻게 해내는지 먼저 예시로 몇가지 전통적인 이미지 세그멘테이션 방법을 살펴보자.

 

 

 

Binary Segmentation

흑/백을 구별하는 Segmentation이다. 문서에서 글자와 배경을 구별해내는 데에는 부족함이 없지만, 색상이 다양한 이미지의 경우에는 당연히 제 성능을 내기 어렵다. 이 때 어떤 값을 기준으로 흑과 백을 나눌지는 Otsu's Method를 사용한다.

 

Otsu's Method는 합격과 불합격을 나누는 방법이라 생각하면 쉽다. 내가 70점으로 기준을 정했는데, 응시자들의 점수대가 69점과 71점에 몰려있다면 어떨까? 당연히 69점 입장에서는 하필 기준을 70점으로 정한 나를 원망하며 '쟤 나랑 2점차인데 나는 불합격이고 쟤는 합격이네' 불만이 쌓일 것이다. 이 불만을 최소화하기 위해 내가 어떤 점수 K를 정했을 때, 0~K점을 받은 응시자들의 점수 분산값, K~100점을 받은 응시자들의 점수 분산값이 최소가 되어야, 해당 불만을 최소화할 수 있다는 것이다. 

 

Otsu's Method를 이용해서 확장도 가능하다. 복잡해 보이지만 식의 의미는 매우 간단하니 천천히 따라오시라. 먼저 w는구간의 히스토그램 합이기 때문에, 해당 구간의 픽셀 개수를 의미한다. u는 픽셀 값 i와 히스토그램 값 h의 곱을 더해 해당 구간 전체 픽셀값의 합을 구하고 그것을 w로 나눈다. 즉 u는 해당 구간 픽셀의 평균값이다. 이제 가장 위의 식에서 픽셀 전체의 평균Ug와 빼서 제곱하는 과정까지 하면 해당 과정의 분산을 구한 것이다. 이 분산값의 합을 적용할 때, 위의 예를 들면 응시자가 많은 곳에서는 더 많은 불만이 나올 수 있기 때문에, 해당구간의 픽셀 개수를 가중치로 적용해준다. 

 

이렇게 구한 v를 평가 지표로 사용하며,  v가 가장 낮은 t1, t2를 세그멘테이션의 기준 값으로 사용하자는 것이다. 이렇게 해봤자 3개의 구역으로 나눌 수 있을 뿐 여전히 다양한 색상의 구분에서는 성능을 내기 힘들다.