DEVOCEAN

■ 연구 소개

• 2024년 AI fellowship 6기에서 VPP(Virtual Product Placement)에 필요한 기술 중 영상에 제품을 배치할 공간 선별 과제를 진행하였고, 해당 기술의 상용화를 위한 중요기능인 Planar Tracking 기술을 고도화하는 과제를 추진하려고 합니다.

■ 연구 목적

• 안정적인 VPP 서비스에 필수적인 트래킹 기술(Planar Tracking, Point Tracking)을 연구

■ 활용 계획

• 연구한 트래킹 모델을 Virtual Product Placement 광고 솔루션에 활용

• VPP 외에 트래킹 모델이 필요한 미디어 서비스에 활용 가능

■ 관련 경험/역량

• - DL/ML 기반의 이미지/비디오 모델 분석 경험

• - 최신 Computer Vision/Media 관련 AI 기술에 대한 이해와 높은 관심

01. 멘토 소개

최희진

• Media R&D Studio AI 개발팀

• Xcaliber 사업개발팀

• GLM(현 에이닷) LLM 모델 개발 PM

박용현

• Media R&D Studio AI 개발팀

• AI 기반 고화질 3D 변환 기술 개발 (NeRF)

• AI Cloud Production 시스템 개발

김현지

• Media R&D Studio AI 개발팀

• VPP 2D 기술 개발

• AI 기반 로고 및 글씨 탐지 기술 개발

02. 프로젝트 소개(상세)

VPP(Virtual Product Placement)는 AI 기술을 사용하여 영상 콘텐츠에 특정 브랜드의 제품 및 광고 등을 동적으로 삽입하는 기술을 말합니다.

흔히 PPL(Product Placement)이라고 부르는 TV 프로그램에 광고할 상품을 노출 시켜 간접적으로 광고하는 기법은 많이 들어보셨을텐데요.

VPP는 제작 완료된 영상에 AI 미디어 기술을 적용시켜 상품 및 브랜드를 추가로 삽입하는 신규 광고 기법입니다.

2024년 AI fellowship 6기에서 VPP(Virtual Product Placement)에 필요한 기술 중 영상에 제품을 배치할 공간 선별 과제를 진행하였고,

해당 기술의 상용화를 위한 중요기능인 Planar Tracking 기술을 고도화하는 과제를 추진하려고 합니다.

• 상용수준의 완성도 있는 VPP(Virtual Product Placement) 서비스를 위해서는 영상 내 움직이는 오브젝트를 정확하게 트래킹하는 기술이 필요합니다.

  • 필수 연구 (트래킹 모델)

    • Planar Tracking (참고논문: WOFT, 참고기술: MochaPro)

    • Point Tracking (참고논문: TAP(Tracking Any Point))

Point Tracking은 지속적으로 연구되고 있는 반면 Planar Tracking은 고도화가 필요한 부분이 많습니다.

Planar Tracking은 평면으로 구성된 점들이 이루고 있는 평면을 유지해야하는 점도 고려해야하기 때문에, point tracking과는 비슷하면서도 다른 연구 방향이 필요합니다.

Planar Tracking의 현재 성능은 평면을 이루는 점이 절반 이상 가려지거나, 물체에 특징점이 없거나, 거울 및 유리 등 특수한 표면인 경우 제대로 평면을 tracking하지 못하는 정도입니다.

이런 한계점을 개선시키고자 합니다.

이미지 출처 : https://cmp.felk.cvut.cz/~serycjon/WOFT/

이미지 출처 : https://cmp.felk.cvut.cz/~serycjon/WOFT/

03. 이런 Fellows를 찾아요!

• DL/ML 기반 이미지/비디오 프로세싱 경험이 있으신 분

• Computer Vision/Media 분야 신규 서비스에 관심이 많으신 분

• 새로운 서비스 개발에 AI 기술을 빠르게 적용할 만한 기발하고 차별화 아이디어가 많으신 분

04. Reference

• Zachary Teed and Jia Deng. RAFT: Recurrent all-pairs field transforms for optical flow. In European Conference on Computer Vision, pages 402–419. Springer, 2020.

• Jonáš Šerých, Jiří Matas; Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2023, pp. 1593-1602