DEVOCEAN

안녕하세요!

비디오 콘텐츠 내 Planar Tracking 기술을 연구하고 있는 Planarian팀 김호재, 김용, 김수현입니다.

이전에 작성했던 연구 계획에 이어 중간발표까지의 진행 사항과 앞으로의 계획을 공유드리고자 합니다.

연구소개

연구 계획에서 설명 드렸던 기존 planar tracking 모델의 단점에 대해서 각각 다음과 같은 방법들을 통해 성능 개선을 도모하였습니다.

1) 평면에 특징점이 없거나 부족할 때 성능이 많이 떨어진다.

카메라 흔들림으로 인해 평면이 흐려진 상황

영상이 흔들리는 경우와 같이 추적해야 하는 평면의 경계가 모호할 경우

기존 Optical Flow 추정 모델인 RAFT는 Feature Extractor모델이 얕아 Optical Flow의 정확도가 떨어져 Planar Tracking의 성능이 저하되었습니다.

저희는 이러한 상황을 개선하기 위해 특징 추출에 더 나은 성능을 보이는 강건한 모델 DPFlow로 모델을 교체하였습니다.

DPFlow 아키텍쳐

2) 물체가 가려져 시야에서 없어졌다가 다시 나타날 경우 성능이 떨어진다.(re-detection이 어렵다.)

물체가 카메라에서 많이 멀어져 추적을 놓친 상황

기존 모델에서는 10번 이상 탐색에 실패했을 때,

첫번째 프레임과 현재 프레임 간의호모그래피를 Prewarping 프레임 없이 직접적으로 계산하기 때문에,

첫번째 프레임과 현재 프레임 간의 평면이 많이 떨어져 있을 경우 Re-detection이 어려운 단점이 있었습니다.

저희는 이러한 WOFT의 inference 방식을 수정하여 DINOv2 Feature의 Cosine Similarity가 가장 높은프레임을 Prewarping 프레임으로 활용해 Homography를 재추적하였습니다.

기존 WOFT의 아키텍쳐에 추가된 Re-detection 모듈

3) 거울 및 유리 등 특수한 표면인 경우 제대로 평면을 tracking하기 어렵다.

반사로 인해 tracking의 정확도가 떨어진 상황

기존 모델의 경우 거울 및 유리 등 특수한 표면의 전처리를 진행하는 부분이 없어 반사 표면에서 성능 저하가 있었습니다.

저희는 이를 위해 반사 제거 모델인 RDNet을 전처리에 활용해 입력으로 들어오는 이미지를 사전적으로 처리하고 Planar Tracking을 수행하였습니다.

반사 제거 모델 RDNet 아키텍쳐

4) 추적하고자 하는 평면이 절반 이상 가려질 경우 Tracking이 힘들다.

평면이 많이 가려지는 상황

기존 모델의 경우 가려진 부분에 대해 필터링 과정이 부족해 추적하고자 하는 평면이 절반 이상 가려질 경우 Tracking이 어려웠습니다.

저희는 이를 위해 DINOv2 feature를 활용하여 Uncertainty 마스크를 활용했습니다.

직전 프레임을 기준으로 현재 프레임에서의 Uncertainty를 Prediction 하고,

Uncertainty가 높은 부분에 대해서는 Loss에 반영을 시키지 않고, 확실한 부분에 대해서만 Homography를 추정하여 평면이 가려지는 상황에서도 더욱 강건한 모델을 구현했습니다.

Uncertainty 마스킹과 Loss식

중간 결과

저희의 평가 지표는 다음과 같습니다.

Precision(P@5): GT_H로 변환후 EST_H로 역변환을 한경우 픽셀의 평균 오차(eAL)가 5픽셀 이하인 비율

모델이 얼마나 세밀하게 Tracking을 진행하고 있는가를 나타냅니다.

Robustness(P@15): GT_H로 변환후 EST_H로 역변환을 한 경우 픽셀의 평균 오차(eAL)가 15픽셀 이하인 비율

전체적인 Tracking이 진행되고 있는가를 나타냅니다.

픽셀 평균 오차 수식

평면에 특징점이 없거나 부족할 때

일부 Sequence에 대한 성능 비교 Table

Optical Flow 모델을 교체한 DPFlow Based WOFT의 경우 카메라 움직임에 따른 Blur에서 기존 모델보다 낮은 수치 기록하였습니다.

이러한 상황을 개선하기 위해 학습에 활용되는 데이터에 blur가 더 포함되도록 Data Augmentation을 수정하고자 합니다.

물체가 가려져 시야에서 없어졌다가 다시 나타날 때

전체 Sequence에 대한 성능 비교 Table

DINOv2 Feature를 활용한 Re-detection을 추가한 WOFT에서는 전체 시퀀스에 대한 평균 성능이 증가했습니다.

하지만, 일부 시퀀스의 경우 Re-detection으로 인한 급격한 Homography 변화로 인해 성능이 갑작스럽게 높아지는 상황이 발생하여 평면의 추적이 더욱 부드럽게 진행될 수 있도록 알고리즘을 수정하고자 합니다.

성능이 하락한 Sequence (위: WOFT with DINOV2 Re-detection, 아래: WOFT)

추적하고자 하는 평면이 절반 이상 가려질 경우

전체 Sequence에 대한 성능 비교 Table

Uncertainty 마스크를 활용한 WOFT에서는 전체 시퀀스에 대한 평균 성능이 증가했습니다.

전체 결과 종합

전체 실험 결과를 종합한 Table은 다음과 같습니다.

앞으로의 계획

1. 평면에 특징점이 없거나 부족한 상황 개선을 위한 DPFlow 기반 WOFT 합성 데이터 구축 실험 진행

2. 추가적으로 Large Scale Challenging Dataset 데이터 정제 및 실험

3. Time Step Prediction을 활용한 Redetection 개선 실험

4. 거울 및 유리 등 특수한 표면을 위한 RDNet 포함 최종 파이프라인 코드 구축 및 최종 모델 완성

남은 기간 최선을 다해 프로젝트를 마무리하고자 합니다!

감사합니다.