[영상처리] 영상 향상, 영상 복원

영상향상, 영상 복원

히스토그램 평활화, 노이즈 제거, 윤곽선 검출 등 앞에서 배웠던 것들은 대부분 이미지를 향상시키기 위한 것이다. 물론 응용 프로그램 별로 더 특정한 이미지 향상 방법이 있을 것이다. 하지만 이 방법들 대부분은 공통의 특징을 가지고 있다.

• 이미지 향상은 새로운 정보를 만들어 내지는 않는다. 그저 있는 정보를 어떻게 보여주느냐의 방법이다.
  오히려 그 과정에서 원래 이미지의 정보가 가려지는 경우가 많다.

• 특정 목적을 가지고 이미지의 어떤 특징을 강조하는 경우가 많다.

• 어떤 것이 좋은 결과인지 주관적이다. 따라서 파라미터의 값을 적당히 조절해 만드는 것이 중요하다.

영상을 복원하는데의 절차를 생각해보자. 먼저, 원본 이미지의 문제가 무엇인지 파악하고 어떻게 해결할지를 구상해 대략의 모델을 구성한다. 그리고 이 모델을 수학적으로 구체화한다. 구상 작업이 끝났다면, 얻은 결과에 대한 평가를 어떻게 할 것인지 정해야 한다. 영상 복원은 영상 향상과는 다르게 어떤 것이 좋은 결과인지 꽤나 정량적으로 정할 수 있는 편이다. 알고리즘의 개발은 그 다음 순서이다.

 

 

 

모델 생성 및 수학적 설계

위 토성의 예를 들어보자. 
저하된 이미지는 이상적 이미지가 흐려지고 노이즈가 껴있는 상태이다. 흐려진 것은 이상적 이미지가 어떤 적당한 블러링(Blurring) 필터를 통과했다고 가정할 수 있다. 노이즈는 그 이미지 위에 얹어진 것이다. 따라서 대략적으로 표현하면 다음과 같이 모델을 만들 수 있다.

 

" 저하된 이미지 = 블러링 필터 * 이상적인 이미지 + 노이즈 "

 

위 상황을 주파수의 영역으로 가져와보자. 앞서 이산 푸리에 변환에 대해 배워봤다. 일반적으로 낮은 주파수 영역에는 전체적인 이미지의 윤곽에 대한 정보가 담겨있고, 높은 주파수 영역에는 이미지의 세밀한 부분에 대한 정보가 담겨있다.  낮은 주파수의 함수는 천천히 변화하고, 높은 주파수의 함수는 빨리 변화하기 때문이다. 

 

노이즈가 크다면, 저주파 필터를 사용해 노이즈를 억제할 수 있다. 하지만 이미지가 더 뭉개질 수 있다.
블러링이 크다면, 고주파 필터를 사용해 이미지를 더 선명하게 할 수 있다. 하지만 노이즈가 더 뚜렷해질 수 있다.
이것을 공학적으로 잘 절충해서, 과연 둘 사이의 최적점이 있을까가 개발에 있어서 가장 핵심인 질문이 될 것이다.

 

 

 

평가기준

생성한 이미지는 어떻게 평가할 것인가? 여기서는 평균제곱오차(MSE), 평균절대오차(MAE)를 사용할 수 있다. 만약 우리가 이상적인 이미지를 알고 있다고 하자. 이 때, 이상적인 이미지와 우리가 영상처리한 이미지의 모든 픽셀값의 차이를 보는 것이다. 이 차이를 제곱해서 더했다면 MSE, 절댓값을 씌워 더했다면 MAE가 된다. 아무래도 MSE는 오차가 제곱이 되기 때문에, 오차가 큰값들이 많으면 더 불리하다. 이는 이미지 전체에 낮은 오차를 전체적으로 퍼뜨리는 결과를 낳는다. MAE는 선형적으로 측정하기 때문에, 이 단점으로부터 자유롭다. 

 

평균제곱오차(MSE)는 그대로 사용하는 것이 아닌, 이상적인 이미지의 픽셀 값의 제곱합을, 평균제곱오차로 나눠 로그를 취한 값을 사용하는데, 이를 신호대잡음비(signal-to-noise ratio)라고 한다. 신호대잡음비가 클수록, 분모인 평균제곱오차가 작다는 뜻이므로 이상적인 이미지에 가깝다 할 수 있다. 단위는 dB(데시벨)을 사용하며 보통 30dB 이상이면 꽤 괜찮은, 20dB이하면 질이 낮은 이미지라 할 수 있다.

 

여기에 PSNR은 분자의 값을 이상적인 이미지 픽셀값의 제곱합이 아닌, 그저 픽셀의 최댓값을 개수만큼 제곱합한 것을 분자에 놓는다. 그래도 분모에 평균제곱오차가 있기 때문에, 위 값은 평가 기준으로 사용이 가능하다. 보통 PSNR을 일반적인 이미지 복원의 기준으로 많이 사용한다.

 

Difference between SNR and PSNR

 

 

 

노이즈 제거

노이즈는 외부적인 간섭으로 인해 발생한 이미지 품질 저하를 의미한다. 노이즈 역시 종류가 있다(Salt and Pepper noise, Gaussian noise, Speckle noise, Periodic noise 등). 노이즈를 제거할 때는 종류에 맞는 방법을 사용하는 것이 중요하다. 

 

Salt and Pepper noise는 이미지에 랜덤으로 하얗거나 검정색의 픽셀들이 흩뿌려져있는 노이즈를 의미한다. 가우시안 필터와 같은 저주파 필터를 쓰면 괜찮을 것 같지만, 별로 효과적이지 않다. Salt and Pepper 는 중간값 필터가 효과가 좋다( 중간값 필터에 대한 설명은 이전 포스팅에 있다). 아웃라이어 제거 방법도 가능하다. 영역을 정해 그 영역 내의 픽셀값 평균을 낸다. 각 픽셀이 평균과의 차이가 일정 값을 넘어간다면 노이즈로 판단하고 평균값으로 대체하는 것이다.

 

Gaussian noise는 정규분포를 가지는 잡음이다. 쉽게 말해서 Salt and Pepper처럼 갑자기 튀는 잡음이 아닌, 어느 정도 랜덤하면서 자연계에서 쉽게 볼 수 있는 분포를 말한다. 일반적인 잡음이기 때문에, 만약 한 장면을 여러장 사진으로 찍었다면, 이를 겹쳐서 평균낸 이미지는 노이즈가 줄어들 것이다. 저주파 필터로도 제거가 어느정도 가능한데, 윈도우의 크기가 작다면 노이즈 제거가 어렵고, 그렇다고 너무 큰 윈도우를 사용한다면 너무 과하게 픽셀 값의 대조가 약해질 수 있다. 그 외에도 위너(Wiener)필터, 양방향(Bilateral) 필터 등 이미지의 특징별로 다르게 적용하는 Adaptive filter 등 다양한 방법이 있다.