DEVOCEAN

안녕하세요! SKT AI Fellowship 5기에서 Screen Size Adaptive Video Retargeting에 대한 연구 과제를 수행하고 있는 4번 팀 LGTM (Looks Good To Me) 입니다.

LGTM은 학부생인 윤상우, 이민지로 구성된 팀입니다.

먼저 연구 배경과 관련 연구에 대해 소개하고 연구 계획 및 목표에 대해 말씀드리겠습니다.

1. 연구 배경

브라운관 TV 시대에 만들어진 오래된 영상 컨텐츠들은 대부분 4:3의 비율로 만들어져 있습니다.

최신 디바이스 및 서비스들은 대부분 16:9의 비율을 지원하는데, 이에 맞게 영상 비율을 변환하여 컨텐츠 시청경험 강화에 기여하고자 연구를 시작하게 되었습니다.

2. 관련 연구

Image Retargeting

Video Retargeting을 알아보기에 앞서 Image Retargeting 관련 연구부터 살펴보겠습니다.

Image retargeting은 Seam-carving을 이용한 방식과 Warping을 이용한 방식으로 방법으로 나눌 수 있습니다.

Image retargeting에서 보통 딥러닝 모델은 deep image representation을 얻거나 중요한 region을 찾아내는데에 사용됩니다.

Video Retargeting

Video Retargeting은 Image Retargeting과는 다르게 다른 프레임에 있는 정보를 이용할 수 있습니다. 하지만 공간적, 시관적 일관성 (Spatial and temporal consistency)를 고려해야 합니다.

시간적 일관성이란, 동영상이 연속된 프레임에서 일관성을 가지고 있어야 한다는 것을 말합니다. 시간적 일관성이 있어야 영상 내에 물체들이 자연스럽게 움직이는 것 처럼 보일 수 있습니다.

기존 Video Retargeting 연구에서는 Object detection 을 활용하여 중요한 Object를 보존하면서 나머지 부분을 늘리는 방식 (Scaling)이 주로 사용되었습니다.

하지만 시간에 따른 이미지의 변화로 대부분의 연구 결과에서 자연스럽게 보이는 영상이 만들어지지는 않았으며, 영상이 가로로 늘어나면서 부자연스러운 장면들도 생겼습니다.

3. 연구 계획

Video Outpainting

Video Outpainting이란, 아래 그림과 같이 비디오의 바깥쪽 부분을 AI를 이용해 채워나는 방식으로 확장된 크기의 영상을 만들어 내는 태스크입니다.

대부분의 기존 Video Retargeting 방법들은 Scaling을 어떻게 할것인가에 대해 중점을 맞추어 연구되었는데,

Scaling을 하지 않고 기존 컨텐츠의 비율을 그대로 보존하는 Video Outpainting을 이용한 Video Retargeting에 초점을 맞추어 연구를 진행하고자 하였습니다.

Video Outpainting 관련 연구

Video Outpainting을 하기 위해서 시도된 다양한 방법에 대해 조사하였습니다.

• Video Outpainting과는 반대인 개념인 Video Inpainting은 구멍이 뚫려있는 비디오의 내부를 AI를 이용해 채우는 태스크입니다.

  Video Inpainting에 사용되는 메소드로 Video Outpainting을 하고자 하는 시도가 있었으나 Outpainting 결과에 잘못된 정보가 많이 포함되어 성공적으로 Outpainting을 하지 못했습니다.

• 특정 영상의 프레임 바깥을 채우기 위해 근처 다른 프레임에서 관찰된 픽셀을 이용하여 비디오를 확장시키려는 시도가 있었습니다.

  하지만 관찰되지 않은 픽셀에 대한 해결책이 없어서 비디오를 완성하지 못한다는 단점이 있었습니다.

각 방법에 대한 문제점들이 아래 그림에 잘 나타나 있습니다.

Video stabilization을 이용한 방법과 GAN을 이용한 방법 또한 시도되었으나 시간적 일관성 (temporal consistency)를 만족하지 못해 영상에 잔상이 생기는 문제(temporal artifacts)가 발생했습니다.

이런 문제들을 해결하고자 Optical Flow를 이용하여 temporal consistency를 고려한 Flow-based Video Outpainting 방법이 제시되었습니다.

이 방법을 Video Retargeting에서 사용하고자 합니다.

Flow-based Video Outpainting

아래는 모델의 대락적인 구조와 실행 결과 샘플입니다.

먼저 비디오에서 주요 물체들을 Semantic Segmentation을 이용해 분리하고, 비어버린 배경을 Video Inpainting을 이용해 다시 채웁니다.

그런 다음 Video Outpainting을 이용해 배경을 확장시키고, 다시 물체를 넣어 비디오를 완성하는 방식으로 이루어집니다.

한계점

하지만 Flow-based Video Outpainting에는 명확한 한계점이 존재했습니다.

물체는 Outpainting 하지 않고 뒷배경만 Outpainting 하기 때문에 영상에 등장하는 배경 이외의 모든 물체들은 가장자리에 걸쳐있는 경우 물체가 잘리게 됩니다.

아래 그림에서 첫번째 그림이 원본 비디오, 두번째 그림이 좌우영역을 자른 비디오, 세번째 그림이 Outpainting된 비디오입니다.

몸통이 잘려서 반만 보이는 것을 확인할 수 있습니다.

이는 단순히 Outpainting을 이용하는 방법 뿐만 아니라 물체를 Segmentation으로 제거한 뒤 배경을 늘리는 기존 Video Retargeting 방법에서도 발생하는 문제였습니다.

하지만 물체를 제거하지 않은 상태에서 영상을 Outpainting 하게 되면, 그림에서 본 것과 같이 잔상이 생기거나 의도치 않은 정보가 Outpainting에 포함되어 버리는 경우가 발생하기 때문에

전처리 없이 Outpainting을 하면 결과 영상 사용이 불가능했습니다.

연구 목표

따라서 저희 연구에서는 Flow-based Video Outpainting의 한계점인 Object가 잘리는 점을 개선하고,

개선한 Flow-based Video Outpainting을 Video Retargeting에 적용해 비율이 변환된 자연스러운 영상을 만들고자 합니다.

이 때 Object가 잘리는 점을 개선하기 위해 Diffusion 모델을 사용할 예정이며, 추가적인 연구를 통해 이를 구체화할 예정입니다.

열심히 연구해서 계획한 목표를 달성하겠습니다! 감사합니다.