지역 특징 1 - 발상 및 이동과 회전 불변한 지역 특징에 대하여

이제 새로운 단원 학습에 들어가 볼 것이다. 개념 학습은 4시간 안에 마쳐볼 예정이다. 늦어도 7시 반까지는 다 학습해 볼 것이다.

 

멋진 파노라마 영상은 디지털 카메라뿐 아니라 컴퓨터 비전 프로그램으로 자동으로 이어 붙여서 순식간에 아래 그림과 같은 파노라마 영상을 만들 수 있다. 이때 컴퓨터 비전이 풀어야 하는 가장 중요한 것이 대응점 문제다. 대응점 문제란 이웃한 영상에 나타난 물체의 같은 곳을 쌍으로 묶어주는 일이다.

이 문제를 해결하려면 이웃한 영상에서 같은 물체의 같은 곳에서 같은 특징을 추출할 수 있어야 한다. 대응점 문제를 안정적으로 풀 수 있다면 파노라마 영상 제작뿐 아니라 물체 인식, 물체 추적, 스테레오 비전, 카메라 캘리브레이션 등 여러 중요한 응용 문제에 적용할 수 있다.

 

4장에서 공부한 에지 특징이나 영역 특징은 대응점 찾기에 여러모로 부족하다. 대안을 찾던 컴퓨터 비전 연구자들이 지역 특징 연구에 집중하여 획기적인 성능 개선을 이뤘다. 실용적인 시스템이 여럿 등장하면서 컴퓨터 비전의 응용 분야가 크게 확장된다.

---

 

 

 

 

1. 발상

아래 그림은 다중 물체 추적 챌린지가 제공하는 MOT-17-14-SDP 동영상에서 추출한 70번째와 83번째 프레임이다. 초당 25 프레임을 담은 동영상이므로 두 영상의 간격은 대략 0.5초다. 버스를 추적하는 효과적인 방법 중 하나는 두 영상에서 특징점을 추출하고 매칭을 통해 해당하는 특징점 쌍을 찾는 것이다. 다시 말해 대응점 문제를 풀어야 한다.

 

그림 5-2는 같은 물체의 같은 위치에 있는 두 특징점을 표시하고 있다. 왼쪽 영상에서 추출된 특징점이 오른쪽 영상에서도 추출되어야 한다. 이러한 조건을 높은 확률로 만족하면 반복성이 좋다고 한다. 또한 특징점에서 추출한 두 특징 벡터는 비슷해야 한다.

그래야 매칭을 통해 둘이 쌍이라고 알아낼 수 있다. 물체의 이동, 회전, 스케일(크기) 변환이 발생하더라도 이러한 조건을 만족하는 특징을 불변성이 좋다고 한다.

 

 

지역 특징은 위의 그림의 원본 영상에 씌운 녹색 박스처럼 좁은 지역을 보고 특징점 여부를 판정한다. 지역 특징은 다양한 종류가 있는데 대체로 (위치, 스케일, 방향, 특징 기술자)로 표현한다. 위치와 스케일은 검출 단계에서 알아내고 방향과 특징 기술자는 기술 단계에서 알아낸다.

---

 

 

지역 특징의 조건

지역 특징이 대응점 문제를 푸는데 유용하려면 앞에서 언급한 반복성과 불변성을 포함해 몇 가지 조건을 추가로 만족해야 한다.

• 반복성(repeatability) : 같은 물체가 서 로 다른 두 영상에 나타났을 때 첫 번째 영상에서 검출된 특징점이 두 번째 영상에서도 같은 위치에서 높은 확률로 검출되어야 한다.
• 불변성(invariance) : 물체에 이동, 회전, 스케일, 조명 변환이 일어나도 특징 기술자의 값은 비슷해야 한다. 불변성을 만족해야 다양한 변환이 일어난 상황에서도 매칭에 성공할 수 있기 때문이다.
• 분별력(discriminative power) : 물체의 다른 곳에서 추출된 특징과 두드러지게 달라야 한다. 그렇지 않다면 물체의 다른 곳에서 추출된 특징과 매칭될 위험이 있다.
• 지역성(locality) : 작은 영역을 중심으로 특징 벡터를 추출해야 물체에 가림이 발생해도 매칭이 안정적으로 동작한다.
• 적당한 양 : 물체를 추적하려면 몇 개의 대응점만 있으면 된다. 하지만 대응점은 오류를 내포할 가능성이 있기 때문에 특징점이 더 많으면 더 정확하게 추적할 수 있다.
• 개선 효율 : 계산 시간이 매우 중요한 응용이 많다. 예를 들어 선수를 추적하여 정보를 자동으로 표시하는 축구 중계의 경우 초당 몇 프레임 이상을 처리해야 하는 실시간 조건이 필수다.

이들 조건은 종종 상충 관계에 있다. 반복성이 중요하지만 실시간 처리가 양보할 수 없는 조건인 경우 반복성을 어느 정도 희생하고 실시간 처리를 유지해야 한다. 보다 넓은 영역에서 특징 벡터를 추출하면 분별력이 높아지지만 지역성이 낮아져서 가림에 잘 대처하지 못한다.

---

 

 

 

특징의 쓰임새에 대한 안목

대응점 문제를 푸는데 에지 특징이나 영역 특징은 거의 쓸모가 없다. 에지 맵은 화소가 에지인지 여부에 따라 0과 1로 표시한 정보일 뿐이다. 에지 화소가 가진 정보가 빈약하여 두 영상에서 서로 대응하는 에지 화소 쌍을 찾아낼 근거가 매우 약하다. 영역 분할의 경우 서로 다른 두 영상의 분할 결과가 너무 달라 영역 대 영역의 매칭은 거의 의미가 없다.

눈을 돌리면 에지 특징이나 영역 특징이 필요한 응용이 많다. 성공적인 컴퓨터 비전 시스템을 구축하려면 응용 문제에 대한 이해를 바탕으로 적절한 알고리즘을 선택하는 안목이 중요하다.

---

 

 

 

 

2. 이동과 회전 불변한 지역 특징

수만 개의 화소로 구성된 영상 중 앞 절에서 제시한 조건을 만족하는 훌륭한 지역 특징을 어떻게 찾을 수 있을까? 다음 그림에서 간단한 인지 실험을 해 보자. 왼쪽 영상에 표시된 특징점 a, b, c 중 어느 것이 오른쪽 영상에서 더 찾기 쉬울까? a가 가장 쉽고 c가 가장 어렵다. 그 이유를 수학적으로 표현할 수 있을까?

 

---

 

 

 

모라벡 알고리즘

모라백은 그림 5-3의 인지 실험 결과에 대한 이유를 a는 여러 방향으로 색상 변화가 있어 찾기 쉬운데 c는 어느 방향으로도 밝기 변화가 미세하여 찾기 어렵다고 설명했다. 그리고 1980년에 발표한 논문에서 찾기 쉬운 정도를 측정하는데 쓸 수 있는 제곱차의 합을 식 (5.1)로 제시했다. 이 식을 화소마다 적용하는데, 각 화소에서 v와 u를 각각 -1, 0, 1로 변환시켜 3 x 3 맵을 생성한다.

 

 

그림 5-4 b는 a, b, c 세 점에서 구한 S 맵이다. 이 맵을 통해 식 (5.1)의 의도를 생각해 보자. 점 c는 모든 방향에서 변화가 없어 S 맵의 모든 요소가 0이므로 지역 특징으로 자격이 전혀 없다. b는 원래 영상에서 수직 방향으로 변화가 없고 수평 방향으로 변화가 있어 S 맵에서 상하에 있는 이웃은 작은 값을 가지고 좌우에 있는 이웃은 큰 값을 가진다.

지역 특징으로 부족하다. a는 원래 영상에서 모든 방향으로 변화가 있어 S 맵에서 8 이웃이 모든 큰 값을 가진다. 이 관찰을 통해 훌륭한 지역 특징을 골라낼 실마리를 찾았다.

 

---

 

 

 

해리스 특징점

모라벡 알고리즘은 지역 특징을 위한 새로운 길을 열었다는 데 큰 의미가 있지만 현실적이지는 않다. 실제 세계에서 획득한 영상은 그림 5-4처럼 단순하지 않다. 3 x 3 크기의 작은 마스크를 사용하고 식 (5.2)처럼 상하좌우 이웃만 보고 점수를 매기는 방식은 한계가 있다. 해리스는 알고리즘을 크게 개선한다.

 

 

1) 2차 모멘트 행렬을 통한 특징점 검출

 

 

 

 

 

---

 

 

 

2) 해리스 특징점 검출

프로그램 5-1은 식 (5.7)과 식 (5.9)로 표현되는 특징점 검출 알고리즘을 구현한다. 알고리즘 계산 과정을 살펴볼 수 있도록 그림 5-4 a와 같은 10 x 10 크기의 간단한 영상을 사용한다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

 

 

 

3) 해리스 특징점의 분석

그림 5-5를 보면 검출된 세 특징점이 모두 삼각형이라는 물체의 모퉁이에 위치한다. 이 그림만 보면 해리스의 특징점은 물체의 모퉁이를 찾는다고 생각할 수 있는데, 실제 영상에 적용하면 모퉁이뿐 아니라 블롭에도 많이 검출함을 할 수 있다. 둥근 모양의 작은 영역인 블롭은 모든 방향으로 변화가 많기 때문이다.

해리스는 자신의 알고리즘이 찾은 특징을 모퉁이라고 불렸는데 이후 연구자들은 생각을 달리 하여 특징점 또는 관심점이라는 용어로 부르는 것을 선호했다. 

 

해리스의 특징점은 이동과 회전에 불변일까? 이 질문에 제대로 답을 하려면 불변이라는 말을 정의해야 한다. 그림 5-4 a에서 삼각형이 오른쪽으로 이동하면 그림 5-5의 C 맵도 정확히 같은 거리만큼 이동할 것이다. 따라서 해리스의 특징점은 이동에 등변이다. 하지만 영상 좌표계가 아니라 물체에 붙어있는 좌표계를 기준으로 보면 같은 좌표를 유지하므로 불변이다.

 

물체의 크기가 변하는 스케일 변환에도 불변일까? 아래 그림은 타원 모양의 물체에 스케일 변환이 발생한 상황이다. 왼쪽에 있는 작은 물체에서는 작은 마스크를 사용해도 모퉁이를 특징점으로 검출할 수 있는데, 오른쪽의 큰 물체에 작은 마스크를 적용하면 수직 에지가 지나는 곳에 지나지 않는다. 오른쪽 물체에 큰 마스크를 적용하면 모퉁이에 반응하여 특징점을 검출할 것이다. 왼쪽 작은 물체에 큰 마스크를 적용하면 다른 물체와 섞일 가능성이 높아 제대로 특징점을 검출할 수 없다.

 

---

 

 

 

학습을 마치고

특징점을 검출하는 방법에 대해서 살펴보았다. 해리스 특징점의 경우는 많이 어려워서 다음에 한번 더 정리하며 복습을 해야 할 것 같다.

수식이 많은 부분은 요즘에는 그냥 스캔하여 올리니 그게 더 나았다. 그냥 이런 게 있구나 하면서 가벼운 마음으로 공부하려고 한다.