DEVOCEAN

■ 연구 내용

• VPP(Virtual Product Placement) 자동화를 위해서 아래 요소 기술이 필요합니다.

  . 최적의 광고효과를 내기 위한 콘텐츠/장면 분석 기술

  . 필수 연구 (광고를 삽입할 후보공간을 탐지하는 기술)

  - Empty Space Identification

  - Suitable Placement Detection

  . 선택 연구 (영상에 3D 제품/브랜드 object를 Rendering 하는 기술)

  - Light estimation(+ Shadow Generation)

  - Style Transfer

  - Video Generation

■ 연구 목적

• VPP 서비스의 효율성을 개선하기 위해 AI기술을 활용하여 자동화

■ 활용 계획

• Virtual Product Placement 광고 솔루션에 활용

■ 관련 경험/역량

• DL/ML 기반의 이미지/비디오 모델 분석 경험

• 최신 Computer Vision/Media 관련 AI 기술에 대한 이해와 높은 관심

01 멘토 소개

김현지

• AIX Media R&D Media Studio AI 개발팀

• AI 기반 로고 및 글씨 탐지 기술 개발

박용현

• AIX Media R&D Media Studio AI 개발팀

• AI 기반 고화질 3D 변환 기술 개발 (NeRF)

• AI Cloud Production 시스템 개발

최희진

• AIX Media R&D Studio AI 개발팀

• Xcaliber 사업개발팀

• GLM(현 에이닷) LLM 모델 개발 PM

기타

• AI Fellowship 5기(2023) 우수상 멘토

• T Service Champion 2021 우수상

• AIX Champions Awards 2023

02 프로젝트 소개

안녕하세요 저희팀은 AI기술을 활용해서 새로운 미디어 서비스를 개발하는 팀입니다.

이번 프로젝트를 통해Virtual Product Placement 서비스에 활용할 모델들을 연구하고 검증해보려고 합니다. 5개월동안 함께 재미있고 즐겁게 연구하면 좋겠습니다!

VPP란?

VPP(Virtual Product Placement)는 AI 기술을 사용하여 제품, 간판 또는 비디오 형태의 디지털 콘텐츠에 특정 브랜드의 제품을 동적으로 삽입하는 기술을 말합니다.

흔히 PPL(Product Placement)이라고 부르는 TV 프로그램에 광고할 상품을 노출 시켜 간접적으로 광고하는 기법은 많이 들어보셨을텐데요.

VPP는 제작 완료된 영상에 AI 미디어 기술을 적용시켜 상품 및 브랜드를 추가로 삽입하는 신규 광고 기법입니다.

위 사진과 같이 영상 내 건물 외벽에 광고가 추가로 삽입되는 게 VPP의 한 예시입니다.

(출처 : https://www.mirriad.com)

VPP 및 object insertion을 위해 위 사진들과 같은 연구([1],[2])가 진행된 바 있는데요,

주로 공간 탐지(Empty space, 수직 및 수평 탐지 등)를 거친 후 광고가 놓일 최적의 위치를 선별하고, 광고할 제품을 주변 영상과 잘 어울리고 Realistic하게 변경 후 삽입하는 과정을 거치게 됩니다.

이번 프로젝트를 통해 개발하고 싶은 기술 요소들

영상에서 제품에 따라 놓일 공간 선별(필수)

• Wall, Empty space detection

• Line segmentation

제품 렌더링 기술 개발(옵션)

• 3D object를 사용하는 경우

  - Light Estimation

  - Shadow Generation

  - Realistic Style Transfer

• 2D 이미지를 사용하는 경우

  - Stable Video Diffusion 등

저희는 이번 프로젝트를 통해 위와 같은 기술을 개발하고 서비스 활용 가능성을 알아보려고 합니다.

우선적으로 브랜드의 제품이나 광고판을 합성할 수 있는 공간을 선별하는 기술을 개발하고, 이 공간에 브랜드의 제품을 실제처럼 놓을 수 있도록 렌더링 하는 기술 개발을 부차적으로 진행하려고 합니다.

기술 요소들이 많아보이지만, 모든 기술을 개발하려는 것은 아닙니다. 공간탐지를 하기 위해 3D mesh를 사용하셔도 좋고, 렌더링을 위해 또 다른 모델을 제안하여 사용하셔도 좋습니다.

저희도 연구를 시작하는 단계이기 때문에, 함께 방법을 찾고 연구해나가실 분이라면 어떤 기술을 사용하시든 환영입니다!

저희는 이번 프로젝트를 통해 펠로우와 멘토 모두 함께 성장하길 기대합니다.

• SK텔레콤에서 실제 상용화 할 수 있는 서비스에 활용할 기술 연구

• 주어진 Task에 맞는 AI 모델들을 분석/연구

03 이런 Fellows를 찾아요!

• DL/ML 기반 이미지/비디오 프로세싱 경험이 있으신 분

• Computer Vision/Media 분야 신규 서비스에 관심이 많으신 분

• 새로운 서비스 개발에 AI 기술을 빠르게 적용할 만한 기발하고 차별화 아이디어가 많으신 분

Reference

[1] Chen Bai, Zeman Shao, Guoxiang Zhang, Di Liang, Jie Yang, Zhuorui Zhang, Yujian Guo, Chengzhang Zhong, Yiqiao Qiu, Zhendong Wang, Yichen Guan, Xiaoyin Zheng, Tao Wang, Cheng Lu, “Anything in Any Scene: Photorealistic Video Object Insertion”, arXiv:2401.17509.

[2] Divya Bhargavi, Karan Sindwani, Sia Gholami, “Zero-shot virtual product placement in videos”, https://www.amazon.science/publications/zero-shot-virtual-product-placement-in-videos.

FAQ

Q1. 모델을 개발한 후 실제 서비스를 한다고 하면, 객체를 넣고 싶은 영상과 넣고 싶은 객체에 대한 정보, 이 두 가지가 모델의 input으로 들어갈 것 같은데, 객체에 대한 정보가 2D 이미지인지, 혹은 3D mesh인지, 아니면 저희가 따로 input의 형태를 결정하면 되는 부분인 것인지 궁금합니다.

A1. 3D mesh 오브젝트를 비디오에 넣는 것으로 생각해주시면 되겠습니다. 저희도 두가지 경우를 모두 고민하고 있기는 하나, 안정성 및 다양한 변수를 생각해봤을 때 일단 3D object를 넣는 기술 쪽으로 검토를 진행중입니다. 하지만 2d input을 넣는 것을 적용하고 싶으시다면, 그것 또한 문제는 없습니다.

Q2. 연구 방향에 따라 다르겠지만 모델 학습을 위해서 3D 데이터나 비디오 데이터 등이 필요할 것 같은데, SKT 측에서 관련하여 제공해줄 수 있는 데이터셋이 있는지 궁금합니다.

A2. 해당 프로젝트는 우선적인 기술 검증을 목표로 하고 있기에 따로 제공해드릴 수 있는 SKT 데이터는 현재는 없습니다.(향후 검토가 필요합니다) 학습이 필요한 부분은 연구목적의 오픈 데이터셋으로 학습을 하고, 기술적인 검토를 위주로 프로젝트가 이루어지면 좋을 것 같습니다.