[컴퓨터 비전] Optical Flow

FRUC (Frame Rate Up Conversion)

동영상은 이미지의 연속이다. 우리나라 방송국은 1초에 60장의 이미지를 보여줄 수 있는, 60Hz의 데이터를 송출한다. 애초에 60Hz인 영상들은 그대로 내보내면 되겠지만, 보통 해외 영화는 24Hz인 경우가 많다. 이런 경우, 24Hz : 60Hz = 2 : 5, 2장을 5장으로 늘려서 내보내게 된다. 'A B'를 'A A A B B'로 내보내는 것이다. 방송국에서는 어떻게든 60Hz를 만들어 내보낸다 치고, 여기에 1초에 120장을 보여주는 TV가 있다고 해보자. TV가 1초에 120장을 보여주려면 영상의 자연스러움을 위해서 60장의 영상 사이사이에 적절한 이미지를 끼워넣어야 한다.

 

이 때 어떤 이미지를 끼워 넣을지를 계산해보자는게, FRUC이다. 먼저 이미지 안의 픽셀들이 다음 프레임에서 어느 픽셀에 매칭되는지 알아내는 것이 중요하다. 달리기 뛰는 선수가 출발지점에서 있다가, 다음 프레임에서 2m 지점에 있다면 그 사이인 1m 지점에 선수가 위치한 이미지를 보간하는 것이 합리적이기 때문이다. 모션 벡터 추출은 그 첫걸음이다.

 

 

 

Motion Extraction

 

 

'현재 픽셀 f(y, x, t)가 dt 후의 프레임에서, 픽셀의 y, x 좌표를 dy, dx만큼 움직인 곳에 가있더라!' 를 나타낸 식이다. 사실 움직여도 픽셀의 값이 완전히 같지 않을 수도 있지만, 기본적으로 픽셀 간 차이가 크지 않기 떄문에 밝기 변화는 없다고 가정한다. 여기서 왼쪽 식을 테일러 급수를 이용해 전개하면 아래와 같은 식이 된다.

 

 

 

여기서 dt가 보통 매우 짧기 때문에 high order term은 무시해도 된다. 그럼 위 수식과 아래 수식을 연립하면 다음과 같은 수식으로 정리할 수 있다.

 

 

 

dy/dt, dx/dt를 v, u라고 바꿨다. 우리가 v와 u를 찾아낸다면 그것이 모션벡터가 될 것이다. 이미지 f를 x, y, t에 대해 미분하는 것은 어렵지 않다. 다양한 방법이 있겠지만 가장 간단하게 한다면 이렇다. 

• df/dy = f(y+1, x, t) - f(y, x, t) 
• df/dx = f(y, x+1, t) - f(y, x, t)
• df/dt = f(y+1, x, t+1) - f(y, x, t)

결국 미분 결과는 상수값이 나올 것이고, 우리는 미지수 2개에 식은 1개인 상태에 놓였다. 이 상태에서 v, u를 추측하는 것은 어렵겠지만, 여기서 '주변의 값들이 같은 v, u 값을 갖는다'는 또 하나의 가정이 들어간다. 작은 골프공이 날아간다고 해도 이미지에서는 꽤나 많은 픽셀들이 한꺼번에 이동할 정도로 픽셀은 작은 단위이기 때문에 꽤나 합리적인 가정이다. 그렇다면 주변 픽셀들을 묶어 식을 세운 다음, 모든 픽셀들에 대하여 가장 결과가 좋은 하나의 해를 찾는다면? 이전에 Lucas-Kanade에서도 나왔던 최소자승해를 사용한다.

 

 

 

 

이제 각 픽셀별로 모션벡터 v를 계산해서 각 픽셀이 다음 프레임에서 어디에 매칭되는지 파악할 수 있다.

 

 

Implementing Lucas-Kanade Optical Flow algorithm in Python