[컴퓨터 비전] Lucas-Kanade Alignment

특징 매칭 (Feature Matching)

  사실 우리는 아주 고도로 학습된 뇌를 가지고 있기 때문에, 왼쪽 위의 눈 그림을 어디에 올려놓아야 할 지 직관적으로 알 수 있다. 하지만 컴퓨터는 그저 픽셀값을 모니터에 띄울 뿐 해당 사진이 어떤 사진인지 전혀 알 방도가 없다. 컴퓨터는 이 눈을 올려놓을 방법을 어떻게 판단할 수 있을까?

 

Template Matching	눈을 한 칸 한 칸 옮기며, 해당 범위의 픽셀 값과 일치하는지 비교해본다.	연산량이 많고, 변형에 취약하다.
Pyramid Template Matching	이미지를 축소(lower resolution)해서 본 다음, 점점 resolution을 올려가며 매칭해본다	연산량을 줄일 수 있으나, 여전히 변형에 취약하다.
Model Refinement	일단 대략적인 위치에 가져다 놓은 뒤 미세하게 조정해본다. 대표적으로 Lucas-Kanade가 있다.	꽤 어려운 가정이 필요하다.

 

 

 

루카스 카나데 (Lucas-Kanade Alignment)

  Model Refinement 방식의 매칭방법을 생각해보자. 예를 들어, '눈' 이미지 템플릿을 들고 영상에서 눈을 찾고자 한다. 영상에서 내가 들고 있는 템플릿처럼 눈 모양을 하고 있다는 보장은 어디에도 없다. 회전, 기울음, 이동, 확대 등  다양한 변형이 있을 것이다.  이 때 대략적으로 어떤 변형이 있었는지 감을 잡고 있다면 어디가 눈인지 판단할 수 있다. 수식이 겁먹게 만들긴 하지만, 차분히 따라가보자.

 

 

 

  어떻게 판단할지 정의한 수식이다. 여기서 W(x;p)대신 x가 들어가면 어떤 수식이 될까?

  입력 이미지 I(x) 와 템플릿 이미지 T(x)에서 픽셀별로  SSD(Sum of Squared Differences)를 계산하는 것, 앞서 나왔던 Template Matching과 똑같아진다.  그렇다면 x 대신에 들어가 있는 저 녀석은  무엇이란 말인가.

 

 

 

  W(x;p)는 입력 이미지를 변형해 비교해보겠다는 것이다. 여기서 p는 W의 매개변수로 '내가 어떻게 이 이미지를 변형해야 가지고 있는 patch와 유사한 모양이 될 것인가'에 대한 감이다. W(x; p)를 표현하면 다음과 같다. x, y값을 넣었을 때, 매개변수 p(p1, p2, p3...)와 계산한 결과 (2×1)의 좌표가 나온다.

  정리하자면, 위 수식에서 I에 x가 아닌 W(x;p)가 들어간 것은 그저 픽셀값을 그대로 비교하는 것이 아니라, 적절한 변형까지 고려하겠다는 것이고 모든 변형을 고려할 수는 없으니, 아마 이렇게 변형하면 될꺼야 하는 적절한 가정 p가 필요한 것이다. 

 

 

 

  하지만 p는 '이렇게 하면 될꺼야' 하는 감일 뿐, 정확한 결과가 아니다. 따라서 이것을 일단 옮긴 후 미세한 조정을 해줄 필요가 있다. 보이는 △p는 내가 해줄 미세한 조정을 의미하고, 우리의 목표는 지금부터 △p를 구하는 것이다. 지금 현재 식은 비선형적이기 때문에 다루기 복잡하므로 다음과 같이 식을 정리해준다.

 

 

 

  식을 변형하고 나니, 우리가 구해야 하는 △p를 구하는 것이 선형의 문제로 바뀌었다! 그 과정에서 생긴 ▽I(Image Gradient)가 생겼다는 점, 그 뒤에 나오는 W를 p로 미분한 행렬(Jacobian)이 생겼다는 점만 확인해 준다면, 우리는 해당 문제를 최소자승해를 통해 구할 수 있을 것이다! 끝이 보인다.

 

 

 

  이렇게 △p를 구할 수 있게 됐다. 수식의 의미를 생각해보면 결국 어떤 △p를 가져야, 이미지를 잘 변환해 템플릿과 매칭시켜볼 수 있을까를 최소자승해를 이용해 최대한 근접하게 구한 것이다. 여기서 p를 p + △p로 업데이트 해주고, 다시 이 과정을 처음부터 시작해서 일정값 이하로 계산값이 떨어질때 까지 반복하는 것이다.