안녕하세요. SKT AI Fellowship 4기에서 <라이브 트래킹> 과제 연구를 맡은 Team 금쪽이들 입니다!

지금부터 저희의 연구 과제에 대해 소개 드리겠습니다. :)

1. 연구 과제 소개

1.1 연구 배경

• 현재 비디오 스트리밍 분야에서 유튜브, 트위치 등의 라이브 스트리밍 플랫폼이 활발하게 이용되고 있습니다.

• 이러한 환경 속에 직접 콘텐츠를 제작, 스트리밍하려는 개인 콘텐츠 창작자들이 다수 등장하고 있으며, 라이브 콘텐츠 제작에 관심이 커지고 있습니다.

• 개인 콘텐츠 창작자(제작자)는 1인 또는 소규모의 인원으로 콘텐츠를 제작합니다.

  이러한 소규모 인원으로도 콘텐츠 제작 시 다양한 앵글의 영상을 소스로 사용할 수 있도록 콘텐츠 제작 환경을 AI 및 최신 미디어 기술을 사용하여 자동화 하려 합니다.

• 고정된 카메라에서 광각으로 촬영한 영상을 인물 또는 축구공 등의 피사체를 인식하고 피사체를 따라다니면서 Crop 한 프레임들을 실시간으로 송출하여, 소규모 제작자들에게 라이브 콘텐츠를 제공합니다.

1.2 연구 개발 목표

• 실시간 촬영 중인 영상 내 움직이는 피사체 인식

  • 영상 내 피사체 인식 정확도 및 성능 (처리 지연) 개선 연구

  • 인식할 피사체의 다양화 (인물, 축구공 등)를 위한 모델링/학습

• 피사체를 중심으로 비디오 Cropping

  • Google MediaPipe(AutoFlip) 활용 또는 대체가능한 오픈 소스 활용하여 개발

• 초저지연 영상 스트리밍

  • WebRTC 사용하여 비디오 스트리밍

• 최종 산출물로 웹앱 구현

  • 라이브 트래킹이 적용된 영상은 웹 브라우저 상에서 보여짐

2. 연구 수행 계획

저희 팀은 애자일(Agile) 프로세스를 활용하여 연구를 진행할 예정입니다.

개발 항목에 대한 백로그를 구성하고 약 2주 기간으로 구성된 12개의 스프린트들을 설정하였습니다.

2주에 한 번 온라인 회의와 한 달에 한 번 오프라인 회의를 통해 스프린트들을 수정하면서 연구를 수행하려고 합니다.

<설계 다이어그램>

• 본 과제의 소프트웨어 설계도는 위의 다이어그램과 같습니다.

• 제작자의 영상은 위 소프트웨어의 최초 input으로서, Autoflip 모델의 input이 됩니다.

• Autoflip으로 트래킹이 적용된 영상은, WebRTC 기술을 거쳐 최종 output으로 스트리밍됩니다. 이 스트리밍되는 영상은 제작자와 시청자가 웹 브라우저에 접속하여 시청할 수 있습니다.

2.1 영상 내 피사체 인식

웹캠 등 고정된 카메라로 실시간으로 영상(연속된 이미지)을 받아옵니다.

input 데이터를 전처리하고 해당 이미지를 Object detection/Face detection 모델에 전달하여 피사체를 인식합니다.

주요 피사체는 사람, 동물이고 상황에 따라 광고용 텍스트나 스포츠 관련 피사체(ex. 축구공)도 포함합니다.

1. 데이터 로드하기

Mediapipe에서 제공하는 Autoflip은 만들어진 영상 데이터를 이용하여 프레임을 처리하는 방식입니다.

이 부분은 라이브 영상(연속된 이미지)을 다루는 저희 팀의 연구 주제에 맞게 실시간으로 데이터를 처리할 수 있도록 수정할 예정입니다.

2. Object Detection

Object Detection 모델의 경우 Mediapipe에서 제공하는 mobilenet v2 기반 SSD 모델을 활용합니다.

또한 피사체가 사람인 경우에는 Mediapipe에서 제공하는 Face Detection 모델을 같이 활용합니다. Object Detection/Face Detection 모델은 CPU에서 돌아가도록 설정되어 있습니다.

피사체가 인식이 잘 안될 경우에는 GPU 기반의 SSD 모델로 대체하거나 YOLO 모델을 사용할 예정입니다.

2.2 피사체 Cropping 및 Reframing

앞에서 인식한 피사체의 위치 정보를 파악하고 Border Detection, Shot Boundary로 얻는 정보들을 종합적으로 고려하여 피사체를 Crop하고 영상의 프레임을 변경합니다.

프레임의 비율은 프로그램을 실행할 때 사용자가 임의로 정하여 결정됩니다.

1-1) Localization To Region / Face To Region

인식한 피사체의 위치 정보와 피사체가 사람인 경우 얼굴 위치 정보를 Scene Cropping 노드에 전달합니다.

1-2) Shot Boundary

현재 프레임이 이전 프레임과 같은 장면인지 분류하는 모델입니다. shot의 변화 정보를 Scene Cropping 노드에 전달합니다.

2) Scene Cropping

피사체의 위치 정보, 프레임 내의 특징(Border Detection), 장면 전환 여부를 통해 최종적으로 피사체를 잘라냅니다.

잘라낸 피사체를 중심으로 프레임을 재구성하는데 이때 고려해야 할 점이 있습니다. 고정된 카메라로 영상을 촬영하므로 피사체가 이동을 하는 경우 영상이 생생하게 느껴지지 않을 수 있습니다.

소규모 제작자들이 다양한 구도로 영상을 담아낼 수 있도록 Reframing은 3가지의 방법으로 이루어집니다.

• Stationary mode

  피사체가 가만히 있는 경우에 사용되며 고정된 뷰포트에서 피사체가 보이도록 하는 프레임 구성 방식입니다.

• Panning mode

  일반적인 경우(피사체가 없는 경우도 포함)에 사용되며, 카메라를 회전하여 뷰포트를 일정한 속도로 이동하는 프레임 구성 방식입니다.

• Tracking mode

  피사체가 활발히 움직이는 경우에 사용되며 피사체가 프레임 내에서 이동할 때 지속적으로 추적합니다.

제작자의 영상 속 피사체의 움직임에 따라 위의 mode들 중 하나를 적용할 수 있습니다.

2.3 초저지연 영상 스트리밍

WebRTC API로 플러그인 없는 실시간 통신 (https://www.3cx.com/global/kr/voip-sip-webrtc/what-is-webrtc/)

• 앞선 개발 항목에서 영상 트래킹이 적용되면, 이제 WebRTC 라이브러리를 이용하여 이 영상을 초저지연으로 스트리밍합니다.

  WebRTC는 P2P 통신으로 브라우저나 단말 간에 데이터를 송수신하는 전송 프로토콜입니다.

• 본 과제에서는 Latency(전송 지연 시간)을 줄이면서 고화질(Full HD)의 영상 송출을 목표로서, 제작자의 영상을 안정적으로 스트리밍하는 기술을 개발하려 합니다.

• 나아가 WebRTC의 크로스 브라우징 이슈를 고려하여, 이를 해결할 라이브러리(adapter.js)를 통해 브라우저 간 호환성을 지원할 계획입니다.

2.4 배포 및 서비스화

스트리밍되는 영상은 웹 브라우저 상에서 시청할 수 있도록, 웹 어플리케이션으로 서비스를 구현할 계획입니다.

제작자는 웹 브라우저에 접속하여 트래킹 적용 전의 원본 영상과 트래킹되는 영상을 확인할 수 있습니다.

웹앱 제작에 프레임워크는 Vue.js(프론트)와 Express(백엔드)이며, AWS EC2를 이용하여 웹사이트를 배포할 계획입니다.

3. 일정 계획

본 연구 및 개발 과제는 위의 차트와 같이 연구 · 개발 내역에 따라 5개월 동안 수행될 예정입니다.

개발 환경 세팅 및 데이터 수집 후, Autoflip 모델과 스트리밍 기술이라는 두 가지 개발 항목을 각각 개발합니다.

이어서 각 개발 항목이 서로 연동되는지 테스트한 다음, 특허 아이디어를 구현하고 추가적으로 아이디어를 발굴합니다.

특허 아이디어까지 적절히 구현되는지 기능 테스트를 거칠 예정이며, 마지막으로 특허를 출원하고 소프트웨어를 최종 완성할 계획입니다.

4. 특허 아이디어

• 특허 아이디어 구현

  • 특허 출원 전 비밀 유지를 위하여 모자이크 처리하였습니다.

  • 특허 일정 또한 sprint 단위로 나눠서 진행할 예정입니다.

• 특허 명세서 작성

• 특허 마무리 및 최종 발표 준비

5. 팀원 소개

저희 팀은 세종대학교 지능기전공학부에 학부생으로 재학중이며, Computer Vision과 Web개발에 관심 있는 학생들로 이루어져있습니다. 🙂

팀명 '금쪽이들'의 뜻은, '금쪽'은 사전적 의미로 작은 조각의 금, 또는 아주 귀한 것을 비유적으로 이르는 말입니다.

저희 3명의 펠로우들이 시작은 작고 미약하더라도, 이 과제의 끝에서는 그 누구보다 금쪽처럼 빛나는 존재가 되고 싶습니다.

나아가 SKT의 금쪽이들로서 세상에 저희의 가치를 입증하는, 금쪽 같은 펠로우로 성장하자는 의미를 담았습니다!✨

팀원 모두가 각 개발 항목에 대한 지식을 꾸준히 스터디하며 함께 협업하려 합니다!

과제 시작부터 끝까지, 지치지 않는 열정으로 연구에 임하겠습니다!

Team 금쪽이들의 활약 지켜봐주세요✨