DEVOCEAN

안녕하세요! SKT AI Fellowship 7기에서 "비디오 콘텐츠 내 Planar Tracking 기술 연구" 를 진행할 Planarian 팀입니다!!

앞으로 저희가 연구를 진행하기에 앞서 저희들의 연구 계획을 간략하게나마 소개해드리고자 합니다.

0.팀 소개-Planarian

저희의 팀 이름인 "Planarian" 은 신체를 128조각으로 잘라도 재생될 정도로 강한 생명력으로 유명한 무척추동물로,

"Planar" Tracking연구를 "Planarian" 처럼 끈질긴 의지력으로 해낼 것이라는 저희 팀의 강력한 포부를 담고 있습니다!

저희 팀은 김현지, 최희진, 박용현 멘토님들과 김호재, 김용, 김수현 펠로우들로 구성되어 있습니다!

펠로우들은 전부 성균관대학교 학부생으로서 타오르는 젊음의 패기로 멘토님들과 끝까지 열정적으로 SKT AI Fellowship에 임할 예정입니다!!

1.주제 소개

Planar Tracking은 영상 내의 특정 평면을 선택하고, 그 평면의 움직임을 프레임별로 추적하는 TASK로 다음과 같은 특성들을 가지고 있습니다.

• 평면으로 구성된 점들이 이루고 있는 평면을 유지해야 한다.

• 추적하는 평면에 대한 카테고리를 고려하지 않고 첫 프레임에서 선택된 평면 영역 정보만을 이용한다.

  
  

  사진: Planar Tracking모델 WOFT의 DEMO(빨간색 평면을 지속적으로 추적하는 모습)

현재 Planar Tracking의 대표적인 모델로는 WOFT가 있습니다.

WOFT는 Homography를 추정하기 위해 Optical Flow를 이용하며, 이를 통해 객체의 움직임을 추적하는 Planar Tracking Model입니다.

Homography: 다른 카메라 뷰의 영상에 있는 두 평면 사이의 변환 또는 3차원 공간의 평면과 영상에 투영된 평면 사이의 변환행렬

WOFT 모델의 구조는 위와 같은 모습을 띄고 있습니다.

1. Backbone : 두 프레임의 이미지에 대하여 특징을 추출

2. 4D cost-volumes : 추출된 특징을 바탕으로 두 이미지 간의 4D 코스트 볼륨을 구성 각 이미지의 하나의 포인트가 또 다른 이미지의 모든 포인트간의 유사도를 계산

3. Flow Estimation : 이전의 프레임에서 다음 프레임으로 어떻게 이동했는지 정보인 optical flow를 예측

4. weight estimation : Cost Volume Pyramid와optical flow를 통해 각각의 대응점에 대한weight를 계산

5. weighted LSq를 통하여 Homography를 계산

그러나, 현재 Planar Tracking 기술은 연구가 많이 진행되지 않은 분야이기에 다음과 같은 한계점들이 존재합니다.

1. 추적하고자 하는 평면이 절반 이상 가려질 경우 Tracking이 힘들다.

2. 평면에 특징점이 없거나 부족할 때 성능이 많이 떨어진다

3. 거울 및 유리 등 특수한 표면인 경우 제대로 평면을 tracking하기 어렵다.

4. 물체가 가려져 시야에서 없어졌다가 **다시 나타날 경우 **성능이 떨어진다.(re-detection이 어렵다.)

저희 팀은 이러한 한계점들을 극복하기 위해 다음과 같은 연구를 진행할 것입니다!

Uncertainty 추정 아키텍처(추적하고자 하는 평면이 절반 이상 가려지는 상황)

위 사진은 "3DGS in the wild" 논문의 아키텍쳐 그림입니다 .

해당 논문에서는 물체를가리거나 가로막는 오브젝트에 대해서 Uncertainty Mask를 Loss 함수에 적용하는 방식으 로 한계를 극복했습니다.

저희 팀은 이를 다음과 같은 아키텍처를 통해 Planar tracking 모델에 적용할 것입니다.

Uncertainty 추정 아키텍쳐에 Affine Mapping부분만을 학습하고 나머지 Block은 Freeze를 하거나 학습시킬 필요가 없습니다.

위 아키텍쳐를 통해 만들어진 Mask를 다음과 같이 Homograph(평면 추적의 계산식)를 계산하는 모델에 Loss 계산에 적용하여 평면이 가려지더라도 강건한 모델을 학습시킵니다.

Reflection 제거 아키텍처(특수한 표면이거나 특징점이 부족한 상황)

위 사진은 “High-resolution image reflection removal by Laplacian-based component aware transformer” 논문의 아키텍쳐 그림입니다.

해당 논문은 유리와 같은 반사된 표면을 처리하는 문제를 해결하였기에 이를 기존 모델에 적용하면, 특수한 표면에서의 성능 저하를 극복할 수 있을 것으로 예상됩니다.

위 그림으로 보여지는 CSTB Layer 4개를 거치며 반사를 제거한 배경 Feature가 나오게 됩니다 . 여기에서

CSTB Layer와 Reflection Detector는 Freeze를 해두고 추가적인 MLP를 넣어서 LoRA와 같은 방법으로 Backbone에서 사용됩니다.

또한, CSTB를 피라미드 형태로 점차 Output이 작아지도록하고, Skip Layer을 활용하여 특징점이 부족한 상황에서도 좋은 Feature Map을 생성하도록 할 것입니다.

Re-detection 아키텍처(물체가 가려져 시야에서 없어졌다가 다시 나타나는 상황)

기존 모델 WOFT의 경우 물체가 긴 시간동안 가려지게 된다면 Loss가 누적되어 물체의 추적을 놓치게 되고, 이를 다시 re-detection 하는 모듈이 없습니다.

저희는 이러한 상황에서 모델이 평면을 정확히 탐지한 프레임에 대해서 가장 유사한 프레임을 선정하고, 이 프레임을 통해 추적을 재개하는 모듈을 구현할 예정입니다.

이를 통해 기존 모델보다 장기적으로 가려졌을 때의 상황에서 더욱 안정적인 추적이 가능할 것으로 예상됩니다.

향후 일정 및 계획

저희의 향후 일정은 다음과 같습니다.

우선순위가 높은 아키텍쳐부터 구현을 시작하여 이를 backbone모델에 추가하면서, 추가적으로 적용해보면 좋을 것같은 모듈들을 Abulation Study에서 구현할 예정입니다!

참고 문헌

● Jonas Kulhanek, Songyou Peng. “WildGaussians: 3D GaussianSplatting in the Wild”

● Carl Doersch, Yi Yang. “TAPIR: Tracking Any Point with per-frame Initialization and temporal Refinement”

● Songnan Chen, Zhaoxu Feng. “High-resolution image reflection removal by Laplacian-based component-aware transformer”

● Ashraf Ishaq, Sumayyah Sophie Nandom. “APPLICATION OF GAUSSIAN MODEL AND DEEP LEARNING ENCODERDECODER ALGORITHM FOR SINGLE-IMAGE REFLECTION REMOVAL”

● Zachary Teed and Jia Deng. “RAFT: Recurrent All-Pairs Field Transforms for Optical Flow”

● Jona´sˇ Ser ˇ ych, Ji ´ ˇr´ı Matas. “Planar Object Tracking via Weighted Optical Flow”

● Xinran Liu,Xiaoqiong Liu. “PlanarTrack: A Large-scale Challenging Benchmark for Planar Object Tracking”

● Zhicheng Zhang,Shengzhe Liu. “Multiple Planar Object Tracking”

● Haoxian Zhang,Yonggen Ling. “HVC-Net: Unifying Homography, Visibility, and Confidence Learning for Planar Object Tracking”

● Xinrui Zhan , Yueran Liu. “Homography Decomposition Networks for Planar Object Tracking”

● Jonas Serych, Michal Neoral. “MFTIQ: Multi-Flow Tracker with Independent Matching Quality Estimation”

● Anonymous authors. “GFNET: HOMOGRAPHY ESTIMATION VIA GRID FLOW REGRESSION”