3D Vision Technology

@concept

3D Vision Technology
: 영상 정보를 통해 3차원 정보를 추출하는 기술

3D Stereo Vision Technology
: 두 개의 카메라로부터 얻은 영상의 차이(disparity)를 이용하여 2D 영상에서 사라진 거리 정보를 복원해 내는 기술

 - Disparity: 두 카메라로부터 멀리 떨어진 물체는 각각의 카메라에 입력된 위치의 차이가 그다지 나지 않게 된다. 반면 두 카메라로부터 가까운 물체는 각각의 카메라에 입력된 위치의 차이가 크다. 이러한 차이를 disparity라고 한다. disparity를 구하면 거리 정보를 복원할 수 있게 된다.

 - Matching: 그런데 여기서 문제점은 왼쪽 영상의 한 점이 오른쪽 영상의 어디에 대응되는가를 알아야 disparity를 구할 수 있다는 점이다. 이렇게 왼쪽, 오른쪽 영상의 일치점을 찾는 과정을 matching이라고 한다. 통상적으로 한 점만으로는 비교가 어렵다. 그래서 대응점 주변 정보를 포함한 하나의 블록을 이용하여 일치점을 찾는 것이 일반적이다. 이를 block matching이라 부른다.

 - Image Rectification: matching을 위해 한 블록을 다른 쪽 영상에서 처음부터 끝까지 모두 뒤지는 것은 불합리해 보인다. 카메라 간의 기하학적인 구조 정보를 이용하면 최소한 어느 근방에 있을 것 같다라는 정보를 구할 수 있는데, 이를 이용하여 탐색 위치를 줄여주는 과정을 image rectification이라고 한다. rectification을 위해서는 두 대의 카메라 사이의 배치 형태를 정확하게 알고 있어야만 하는데, 이를 camera extrinsic parameter라고 한다.

 - Camera Calibration: 앞서 disparity를 구하면 거리 정보를 알 수 있다고 했는데 이는 상대적인 정보까지만 알아낸 것이다. 영상 처리 분야에서는 이를 up to scale까지 찾아냈다고 표현한다. 이를 우리가 사용하는 단위 – metrical information, 쉽게 말하면 몇 cm 떨어져 있는지 알고 싶다면 camera intrinsic parameter를 찾아내야 한다. 이처럼 camera intrinsic/extrinsic parameter를 찾아내는 과정을 camera calibration이라고 한다.

 - 요약하면, 한 장의 영상만으로는 3D 정보를 얻을 수 없다. 최소한 서로 다른 위치에서 촬영한 두 장의 영상이 필요하다. 이 두 장의 영상으로부터 disparity를 계산하면 3차원 상의 위치를 파악할 수 있다. 그리고 이 때, disparity를 구하려면 image matching을 풀어야 한다. 그냥 image matching을 하면 너무나 많은 시간이 걸리기에 image rectification을 수행하는데, 이를 위해서는 camera calibration이 필요하다.

3D Image Processing Flow
: 위의 요약 내용을 역순으로 하면 3D 정보를 얻을 수 있다.

1) Camera Calibration을 수행: image rectification을 위하여 camera extrinsic parameter를 구한다. 또한 나중에 찾아낼 up to scale로부터 실제 거리를 알아내기 위하여 camera intrinsic parameter를 구한다.
2) Image Rectification을 수행: image matching을 쉽게 하기 위함이다.
3) Image Matching을 수행: disparity를 구하기 위함이다.
4) Disparity를 구함: 유클리디안 공간 상의 3차원 좌표를 계산하기 위함이다.
5) 3D Information을 취득: camera intrinsic parameter를 이용하여 실제 거리를 계산한다.

@reference
http://blog.naver.com/ntrex/130173772290