DEVOCEAN

배경

"지금은? 숏폼시대! "

언제 어디서든 틈날 때마다 빠르게 시청할 수 있는 숏폼 콘텐츠는 우리의 콘텐츠 경험에 큰 변화를 주고 있습니다.

이러한 콘텐츠 시청 트렌드 변화에 따라 콘텐츠 제작자나 서비스 플랫폼 제공자들은 원본 콘텐츠에서 숏폼 콘텐츠를 생성하여 고객들에게 제공하고 싶어합니다.

그러나 숏폼 콘텐츠를 제작하기 위해서는 오랜 시간의 편집 수작업과 제작 비용이 요구돼 숏폼 콘텐츠 수량 증대에 한계가 있습니다.

이와 같은 Pain Point를 극복하고자 저희는 AWS 환경에서 AI 기반 영상 편집 기술을 개발하여 대량으로 숏폼 콘텐츠를 빠르게 생성할 수 있는 시스템을 구축하고자 했습니다.

이렇게 생성된 스포츠 AI숏폼을 생성하여 에이닷 미디어 서비스에 제공하고 있습니다.

숏폼시대를 타겟하는 콘텐츠 자동 편집 기술과 서비스 상용화의 모든 것에 대해 알아가 볼까요?

콘셉

롱폼 콘텐츠에서 숏폼 콘텐츠로 탈바꿈하기 위해서 시간적, 공간적 콘텐츠 편집 기술이 적용됩니다.

재생 시간이 긴 가로형 원본 콘텐츠에서 핵심 구간의 세로형 숏폼 콘텐츠를 자동으로 생성할 수 있는 AI 미디어 기술입니다.

AI Vision엔진, Audio 엔진, LLM엔진 등을 활용한 AI 종합선물세트라고 봐도 무방합니다.

무엇보다 다양한 콘텐츠 장르 따라 대응이 가능한 기술과 시스템을 고려하여 구현하였기 때문에 서비스 확장성이 있다는 장점이 있습니다.

저희가 처음으로 상용화를 2023년 봄 프로야구 중계 방송을 타겟하여 AI 숏폼 콘텐츠를 생성하고,

2023년 가을에 프로농구, 2024년 봄부터 시작하여 프로골프 중계 방송 콘텐츠 기반의 AI 숏폼 서비스를 상용화였습니다.

단기간 내에 3가지 스포츠 종목에 대한 AI숏폼 콘텐츠 자동 편집 기술을 개발하면서 겪었던 시행착오를 공유하고자 합니다.

그리고 개발자들의 입장에서의 서비스 상용화를 위해 고군분투하며 개발한 저희의 성장 스토리를 소개합니다.

이번 기고에서는 현재 상용 서비스 중인 프로골프 AI숏폼에 대해 집중하여 설명하고자 합니다.

프로골프 AI숏폼

프로골프 KLPGA와 KPGA 중계 방송 영상을 가지고 콘텐츠 소비 목적에 맞춰 자동으로 편집할 수 있는 기술과 시스템을 구현했습니다. 

스포츠 종목 특성상 사용자가 더 잘하기 위해서 숏폼을 본다는 사용자 콘텐츠 소비 패턴을 분석하여 '골프 레슨 숏폼' 인 AI Swing Visualization 콘텐츠를 고도화 개발하기로 했습니다.

골프 스윙 자세에 대한 이해를 돕기 위한 목적으로 AI Swing Visualization 2가지 콘텐츠를 기획하고 개발했습니다.

• AI Shorts : 경기 내용 중 놓치면 안될 주요한 이벤트에 대한 숏폼 콘텐츠로서 후킹문구를 자동으로 생성하여 관련한 콘텐츠 정보를 직관적으로 전달

• AI Swing : 스윙 구간이 2~3초 내외로 너무 빨리 지나가 놓치기 쉬운 프로선수들의 Tee-shot 구간을 모아 볼 수 있도록 자동으로 스윙 구간을 검출하여 생성

• AI 프로포즈 : 스윙의 대표적인 8 구간을 검출하여 8배속 Slow-motion으로 단계별 스윙 자세를 친절하게 알려주는 콘텐츠

• AI Swing Plane : Club Head 위치를 Tracking하여 Swing Plane을 영상 위에 Overalay하고, 주요 구간을 구분해서 궤도 Color highlighting하여 직관적으로 정보를 전달

앞으로 설명할 내용을 크게 3개 파트로 구분해 보았습니다.

프로골프 AI숏폼에 활용된 주요 AI 모델들과 자동화 생성을 가능케한 AWS 시스템 그리고 서비스의 완결성을 높이기 위해 진행한 개발 업무들 순서로 소개해볼게요.

PART 1 | AI 모델

AI Shorts

1. AI reframe

   
   

   • 첫 번째로, 기존 가로형 원본 영상을 세로형 숏폼 영상 형태로 가공하기 위해서는 주요한 Spatial 영역을 판단하여 reframe 하는 작업이 필요합니다.

   • 골프 영상 내에서 주요한 Spatial 영역이라 함은 실제 스윙을 하는 메인 선수, 골프 공, 홀컵 등을 의미합니다.

   • 하지만 실제 중계 영상에서 주요 영역을 검출하는 데에는 많은 어려움이 따릅니다.

   • 골프 중계는 여러 선수가 하나의 조를 이루어 동시다발적으로 경기를 진행하기 때문에 상단의 좌측 이미지에서 보이는 것처럼

     동일한 영상 내에 다른 선수, 캐디, 갤러리 등이 함께 잡히기도 하고 이전 선수가 쳤던 골프공이 잡히기도 합니다.

     이 중에서 누가 실제 공을 치는 메인 선수인지 vision AI가 판단하기 위해서는 수많은 로직과 기술이 필요한데요.

   • 이러한 문제를 해결하기 위해 저희는 Saliency detection과 Object detection 등의 AI 기술들을 혼용하여 사용합니다.

   • Saliency detection & Object detection을 통해 영상 내 주요 영역을 1차적으로 판단한 뒤

     그 안에서 유효한 선수, 공 등을 찾기 위한 별도의 추가 로직을 통해 2차적으로 주요 영역을 필터링합니다.

   • 유효한 영역을 찾기 위해서는 물체의 움직임 방향, 속도, 크기 및 객체 간의 연관성 등을 함께 고려하고 있으며,

     퍼팅샷과 같이 객체(골프공)의 움직임이 커서 고정된 세로형 frame 내에 담기 어려운 경우에는 객체를 tracking 하여 reframe 하는 로직까지 적용하고 있습니다.

   • 이러한 로직을 적용하게 되면 상단의 우측 이미지와 같이 highlight 된 부분이 주요 영역으로 판단이 되고,

     해당 영역을 중심으로 가로형 영상을 세로형 영상(green box만큼의 영역) 으로 reframe하여 최종 영상을 생성합니다.

   • 이로써 세로형 영상에서도 중요한 내용과 장면이 잘리지 않고 최대한 보존될 수 있도록 서비스 상용을 하고 있는 지금도 지속적인 고도화 작업을 진행하고 있습니다.

     
     

2. 후킹문구 생성

   • 숏폼 영상 하면 또 빼놓을 수 없는 부분이 바로 captioning(제목 생성) 인데요, 수많은 숏폼 영상들 중 내 시선을 확 이끄는,

     hooking되는 썸네일의 캡션 때문에 궁금해서 영상을 클릭하여 시청해 본 경험이 있지 않으신가요?

   • 사용자의 시청을 유도하기 위해서는 이처럼 captioning 또한 중요한 부분입니다.

   • 캡션은 단순히 시선을 이끄는 자극적인 문구로만 이루어진 것이 아닌, 영상의 내용이나 맥락을 잘 함축하고 있는 내용이어야 합니다.

   • 이를 위해 저희는 다양한 text, audio 정보 등을 활용하고 있으며, ChatGPT를 활용하여 좀 더 생동감 있고 재밌는 어투로 캡션을 생성합니다.

   • ChatGPT를 최대한으로 활용하기 위해서는 Prompt를 어떻게 구성을 하느냐에 따라 성능이 크게 좌우 되는데요.

   • 이를 위해 저희는 수차례의 상용 서비스를 진행하며 직접 얻어낸 노하우들을 Prompt 안에 녹여 안정적으로 서비스를 배포하였습니다.

   • 우선 captioning 시 활용되는 정보로는 아래 예시와 같은 json 형식의 경기/선수 데이터, 해설자 음성(script) 및 최신 뉴스 트렌드 정보(news_keyword) 등을 활용합니다.

   • 정형화 되어 있는 경기/선수 데이터 뿐만 아니라 해설자 음성, 최신 뉴스의 키워드, 멘션 등을 활용하여 보다 더 생동감 있는 캡션을 생성합니다.

   • 
     

   • 이렇게 데이터를 가공하여 ChatGPT를 통해 캡션을 생성하게 될 때 피할 수 없는 것이 Hallucination 오류 입니다.

   • 캡션에 골프와 관련 없는 단어가 나온다거나 혹은 관련없는 선수의 이름 등을 생성해낸다면 치명적인 오류로 보일 것입니다.

   • 이러한 오류도 자동으로 필터링하여 서비스를 안정화 시키기 위해서는 별도의 Post-processing 로직이 필요합니다.

   • 캡션에 나오면 안 될 단어들을 blacklist로 등록해 필터링 한다거나 선수 이름 등의 오탈자를 자동으로 수정하는 등의 다양한 추가 로직을 통해 서비스의 완성도를 높였습니다.

   • 이를 통해 아래와 같이 경기의 내용을 잘 담고 있으면서도 생동감있는 캡션이 생성되어 숏폼 영상의 썸네일을 통해 보여지게 됩니다.

hooking_title = ['연장전 여왕, 박현경의 달성 목표!', '메이저 퀸으로 다시 도약할 박현경', '욕심내지 않을래요, 다시 메이저 퀸!', '버디로 잘 마무리 한 메이저 퀸 박현경!']

AI Swing

• 프로선수의 Tee-shot 구간을 검출하기 위해서는 Shorts 클립 영상 내 video, audio 등의 정보를 활용합니다.

• 실제 스포츠 중계 영상의 특성 상 촬영 각도, 날씨, 선수의 스윙 스타일 등이 달라짐에 따라 Tee-shot 구간을 검출함에 있어서 예상치 못한 다양한 변수들이 존재합니다.

• 이러한 변수를 최소한으로 하여 보다 더 정확한 구간을 검출해내기 위해 이미지 뿐만 아니라 영상, 오디오 등의 multi-modal 정보를 활용합니다.

• 1.  video 정보를 활용한 구간 검출

  • 선수의 address~finish 까지의 자세를 자동으로 탐지하여 스윙 구간들을 검출합니다.

• 2. audio 정보를 활용한 구간 검출

  • 1에서 검출된 구간 내에서 impact 구간을 추가로 검출합니다. 이때 impact 구간은 선수가 공을 타격하는 순간의 audio 정보(amplitude 및 frequency 정보)를 활용하여 검출합니다.

• video와 audio 정보가 모두 탐지가 되는 경우에만 실제 Tee-shot 구간이라고 판단하여 AI Swing 영상을 자동으로 생성합니다.

• 이로써 내가 보고 싶은 프로 선수의 Tee-shot 장면들을 골라 보실 수 있습니다.

  
  

AI 프로포즈

• 골프 스윙 자세에 대한 이해를 돕기 위한 콘텐츠 중 하나인 AI 프로포즈 영상은 프로 선수의 Tee-shot 스윙 영상을 분석하여

  총 8가지의 스윙 자세(address > takeback > back-swing > top-swing > down-swing > impact > follow-through > finish)를 자동으로 인식하여 알려주는 콘텐츠 입니다.

• 특히 움직임이 매우 빠른 down-swing/impact/follow-through 포즈에 대해서는 play & pause 기능을 통해 사용자가 좀 더 자세를 분석하며 볼 수 있도록 제공하고 있습니다.

• 이 모든 일련의 과정 또한 AI 기술을 통해 자동으로 생성이 되는데요.

• 1차로 현재 영상의 촬영 각도를 인식합니다. (정면 / 측면)

• 그 다음 선수의 skeleton 좌표값을 estimation 한 뒤, 해당 skeleton은 어느 자세에 해당하는 지에 대한 classification 작업을 진행합니다.

• 이때, 촬영 각도에 따라 동일한 자세더라도 skeleton 좌표값이 달라질 수 있기 때문에 촬영 각도 별로 별도로 학습한 DB를 기반으로 하여 classification 합니다.

• 
  

• 이렇게 판단된 각 포즈 별 구간은 AI 프로포즈 콘텐츠 생성에도 사용이 되고, AI Swing Plane에서 궤적을 그릴 때에도 활용이 됩니다.

  
  

AI Swing Plane

• AI Swing Plane은 선수가 휘두른 스윙 궤도를 시각적으로 표현하기 위한 영상입니다.

  스윙 플레인(Swing Plane)이란 골프 스윙을 할 때 몸을 중심으로 회전하는 스윙 면을 말하며, 이는 헤드와 샤프트가 그려낸 면을 의미합니다.

  저희는 이러한 스윙플레인을 영상에서의 헤드 검출 기법을 통해 그려낼 수 있도록 개발하였습니다.

  AI 스윙 플레인 생성 작업은 크게  (1) 헤드/샤프트 검출 (2) 8-Pose 검출 기반 디자인 작업 이렇게 두 가지로 나누어 생각할 수 있습니다. 

• 먼저 (1) 헤드/샤프트 검출은 선수들의 빠른 스윙 영상에서 자체적으로 학습한 AI 객체 검출 모델을 사용해 검출하게 됩니다.

  선수들의 스윙 영상은 보통 매우 속도가 빨라, 특히 핵심 구간인 임팩트 구간에서는 헤드/샤프트가 그림자 외에는 거의 보이지 않을 정도로 희미한 경우들이 대부분이었습니다.

  기존에 공개된 추론 모델들 중에서는 이를 검출할 수 있는 모델이 없었고, 따라서 골프 스윙 영상에 최적화 될 수 있도록 따로 학습을 시켰습니다.

  
  

• 이렇게 (1)단계 작업이 완료되면 이렇게 검출 된 결과 값을 가지고 디자인 작업에 들어가게 됩니다.

  단순히 검출된 값을 화면상에 뿌리게 되면 아래 첫 번 째 그림처럼 끊어지는 점선이 표현되나,

  이를 보간(interpolation) 작업 및 smoothing 작업을 통해 매끄러운 Swingplane 곡선으로 만들어주는 작업이 들어가게 됩니다.

  또한 스윙플레인은 이러한 점들을 여러 프레임에 걸친 영상으로 만들어내는 작업이기 때문에,

  단 한 프레임의 검출값이라도 잘못된 위치에 검출이 된다면 전체 궤적의 흐름이 망가지게 되기 때문에, 오탐과 미탐의 보정을 위한 후처리 작업도 들어갑니다.

  또한 궤도의 디자인적 완결성을 위해 어드레스부터 다운스윙 임팩트로 이어지는 각각의 구간마다 어디까지 선을 그릴 것인지와,

  선의 굵기나 색상, 투명도 등이 다 달라지게 되는데 이 때는 앞서 검출한 8-pose의 결과값을 다시 활용하여,

  궤적 그리기가 끝나는 구간 및 각 구간의 색상, 굵기, 투명도 등을 결정하여 아래 그림 맨 오른쪽과 같은 모습으로 완성 됩니다.

  
  

PART 2 | AWS 시스템

# AI숏폼 시스템 Overall

AI를 활용해 자동으로 숏폼 영상을 생성하려면 다양한 데이터영상,문자 중계를 수집한 후 적절한 AI 엔진을 구동시켜야 하며, 생성된 결과물을 다른 AI 엔진에 전달하거나 최종적으로 CDN에 배포해야 합니다.

이와 같은 일련의 작업을 효율적으로 관리하고 모니터링하기 위해, AWS에 AI 기반 숏폼 제작 시스템을 구축하여 서비스를 운영하고 있습니다.

이러한 Workflow 관리를 통해 골프 이외에도 야구와 농구 숏폼 시스템 서비스로도 사용이 가능하게 됩니다.

에이닷 AI숏폼 AWS 시스템에 대한 구조적인 설명에 앞서 하기 첨부한 Workflow를 참조해주시면 이해에 도움이 될 것 같습니다.

1. 프로골프 중계 영상에서 하이라이트를 생성하는 *AI 하이라이트 시스템과 AI숏폼 시스템을 연동하여 주요 클립 수집합니다.

   (*AI하이라이트 데보션 글 참조 :  AI가 바꾸는 스포츠 중계 서비스 혁신: AI 하이라이트/AI 캐스터 (sk.com))

2. 모든 비디오 클립을 숏폼으로 변환하면 시스템에 과부하가 걸리고 사용자의 관심은 오히려 떨어뜨릴 수 있기 때문에 흥미 요소를 점수화해 대상 클립을 선별하고 있습니다.

   이 점수화 과정에는 각 선수의 홀 성적, 실시간 순위, 최근 중계에서의 노출도와 인기도 등 여러 요소를 종합적으로 반영합니다.

3. 특정 선수의 샷을 숏폼으로 생성하기로 결정했다면 중계 영상에서 해당 선수의 관련된 샷 영상과 정보를 모아 작업으로 구성하고 Worker에 작업을 배분하게 됩니다. 

   만약 사용가능한 Worker가 없다면 작업 대기열에서 대기하게 됩니다. 대기가 너무 길어지지 않도록 그날 경기 수와 시간에 맞춰 Worker의 개수가 자동으로 조절하고 있습니다.

   이를 통해 시스템의 병목을 줄이고 적절한 리소스 사용할 수 있어 비용을 절약하고 있습니다.

4. 하나의 클립으로 4가지 형태의 숏폼을 생성하게 됩니다.

   일반적인 숏폼과 함께 사용자가 스윙자세를 자세히 볼 수 있도록 스윙 부분만 AI로 감지하여 분리한 뒤에 AI Swing, AI Pro-pose와 AI Swing Plane을 함께 생성하고 있습니다.

5. AI 숏폼 시스템은 적절한 Workflow 설정에 따라 이런 일련의 Workflow대로 AI 엔진을 파이프라이닝하고 있으며 각 하부 작업들의 상태를 모니터링하게 됩니다.

# 콘텐츠의 시의성을 반영하여 더 트렌디하게!

숏폼 영상을 만들기 위해서는 먼저 다양한 정보를 수집하는 것이 중요합니다.

모든 비디오 클립을 숏폼으로 변환하면 시스템에 과부하가 걸리고 사용자의 관심은 오히려 떨어뜨릴 수 있기 때문에 흥미 요소를 점수화해 대상 클립을 선별하고 있습니다.

이 점수화 과정에는 각 선수의 홀 성적, 실시간 순위, 최근 중계에서의 노출도와 인기도 등 여러 요소를 종합적으로 반영합니다.

특히, 최신 뉴스 정보를 적극 활용해 현재 가장 주목받고 있는 선수를 선정하고 해당 선수의 숏폼을 집중적으로 생성함으로써 사용자들의 관심을 효과적으로 끌어내고 있습니다.

# 신속한 시스템 배포의 1등 공신, Cloud Formation

숏폼 시스템은 DEV/STG/PRD 각각의 Phase 목적에 맞는 독립성은 지키면서도, 동일한 구조의 인프라를 빠르게 배포하기 위해 AWS상의 CloudFormation 기술을 사용하였습니다.

가장 처음 AWS 환경에 시스템을 구축할 때에는 필요에 따라 AWS 리소스들을 직접 핸즈온으로 배포하면서 우리 시스템에 필요한 각 AWS 서비스 요소들이 무엇인지 확인하였고,

이러한 작업이 어느정도 마무리 되면서 우리 시스템에 필요한 전체적인 서비스 요소와 아키텍처가 한 벌로 나오기 시작했습니다.

이제 전체적인 아키텍처를 하나의 CloudFormation 템플릿 상에 자세하게 정의하였고, 이를 통해 수십개의 리소스를 단 한 번의 마우스클릭 만으로 빠르게 배포할 수 있는 구조가 완성되게 되었습니다.

때문에 야구/농구/골프 등 종목을 넘나드는 AI 숏폼 시스템의 인프라 구성을 종목별 요구사항에 따라 빠르게 대응할 수 있었습니다. 

<실제 사용중인 CloudFormation 템플릿 예시>

# 우리 프로젝트 제3의 멤버, Monitoring Agent

숏폼 콘텐츠가 개발자 의도대로 생성이 됐는지 혹은 신규 기능이 추가되어 시스템에 배포되면 서비스 상용 시점 이후로 수시로 검수 절차가 요구됩니다.

수동으로 많은 콘텐츠를 검수하는 데에 많은 휴먼 리소스가 필요하다는 걸 아실거에요. 

그래서 똑똑한 숏폼 자동화 시스템 운영을 위해 Monitoring Agent를 개발이 시급했습니다.

시스템에서 생성된 AI숏폼 콘텐츠의 오류를 꼼꼼하게 분석하여 가장 많은 비율로 발생하는 오류를 막기 위한 기능을 수행할 수 있도록 기획하였습니다.

그 중에서도 Monitoring Agent 의 대표적인 2가지 기능은 ①주요 영역을 잘 보존하여 종횡비(가로↔세로) 로 변환했는지와 ②스윙 구간을 제대로 검출했는지 판단 기능입니다.

①주요 영역을 잘 보존하여 종횡비(가로↔세로) 로 변환했는지 판단하기 위해서는 선수가 스윙이나 퍼팅한 공이 콘텐츠 내에 포함이 되는지 확인합니다. 

변환된 세로형 콘텐츠에서 좌우 외곽 공을 필터링 한 후에 이전 프레임들을 추척하여 골프 공이 확실한지 판단하도록 설계했습니다.

②스윙 구간을 제대로 검출했는지 판단하기 위해서는 AI Swing에서 활용한 엔진과 다른 Pose Estimation 엔진을 활용하여 검수했습니다.

선수의 자세를 분석해 일반적인 스윙 포즈에서 벗어나는지 여부를 판단합니다.

만약 기준을 통과하지 못하면 워크플로우를 중단시켜 후속 작업이 진행되지 않도록 하여, 불필요한 리소스 사용을 줄이는 효과도 얻고 있습니다.

저희 프로젝트에서 열일하고 있는 제3의 멤버 Monitoring Agent를 개발한 덕에, 운영 효율을 높이는 동시에 불필요한 AWS 자원 사용을 막아줍니다.

<생성된 AI숏폼을 검증하기 위한 Monitoring Agent 구동 예시 >

# 스포츠 숏폼은 업로드 속도가 생명! 

작년부터 에이닷에 올라갔던 숏폼 콘텐츠는 레거시 CDN을 사용하였기 때문에,

기타 다른 기존 워크로드와 겹치게 되면 생성 완료 후 에이닷 앱상에 노출되기 까지, 적게는 30분에서 최대 한시간 이상의 시간을 기다려야 했습니다.

스포츠의 특성 상 경기 상황의 실시간성을 반영하고 자체적인 제어가능성 (controllability)를 높이기 위해

AWS상의 Media Convert와 Cloud Formation을 통해 자체적인 CDN 워크플로우를 구성하게 되었습니다.

변경된 자체 CDN 워크플로우를 통해서는 생성 완료 후 앱 단의 노출까지 평균 30초 정도의 시간만을 필요로 하기 때문에 사용자 측면에서의 이점 뿐만 아니라,

콘텐츠의 삭제 등 운영 측면에서의 리소스도 훨씬 더 적게 들어간다는 이점이 있었습니다.

# Public Cloud 예산 절약 5가지 꿀팁

잘 아시다시피 스포츠 종목의 시즌 전체를 서비스 운영하기 위해서는 AWS 사용량이 만만치 않습니다. 

한정된 Public Cloud 예산 안에서 효율적인 시스템 운영을 하는 게 꽤 중요한 역량이라는건 시스템 개발자라면 다 공감하실 것 같습니다.

그래서 시스템 경량화를 통한 상용 운영 비용 절감을 위한 피나는 노력을 했는데요, 5가지 꿀팁을 대방출합니다.

①AWS Managed Service(FTP) 제거, ②EBS Down sizing, ③경기 스케쥴 기반 EC2 Scale in/out, RDS 자동 On/Off, ④NAT 통합, ⑤최적의 Instance Type 선정

위와 같은 방법을 적용해서 2023년 운영 대비 월별 300만원을 감소하여 1년 동안 3600만원이라는 소중한 Public Cloud 예산을 절약할 수 있었습니다.

PART 3 | 서비스 완결성을 위한 노력

스포츠 3가지 종목에 대한 AI 숏폼 서비스를 운영하면서 엔진 개발과 시스템 개발만큼이나 중요한 것들이 있었습니다.

서비스의 완결성을 높여야 한다는 사명감을 갖고 센스있는 서비스 운영의 묘를 보여줘야 했는데요, 어떤 노력들이 숨겨져 있었는지 말씀드리겠습니다.

# 기획자와 긴밀한 소통 및 개발자의 민첩한 대응

스포츠 대회는 한 시즌에서도 다양한 이벤트들이 있어서 개발과 운영자 입장에서 신속하고 민첩하게 대응해야 할 요소들이 있습니다. 

특히 프로골프 같은 경우에는 Stroke Play(선수 1명 경기 운영 방식), Match Play(선수 2명의 대결 방식), 데이터가 없는 해외 메이저 대회PGA,LPGA 등 다양한 이벤트에 대한 서비스를 했습니다.

그리고 당사에서 주최하는 SK Telecom Open 대회 특화된 서비스 차별화 포인트들을 녹여내야 했습니다.

그래서 저희는 서비스 기획 부서와 사전에 전략을 짜고 단기간내에 저희가 보여줄 수 있는 AI 무기들을 꺼내야 했습니다.

AI숏폼 생성 할 때 디자인적인 GUI를 주요한 차별성을 두기로 하고 디자인 가이드를 같이 고민하고 자동 생성 될 수 있도록 구현하고 시스템에 배포하였습니다. 

같은 콘텐츠라고 하더라도 썸네일이 달라보이니 사용자 입장에서는 시의성을 반영하고 있다고 인지해주셨습니다. 

이렇듯 기획 부서와 긴밀한 소통과 개발자들의 민첩한 대응이 효율적인 서비스 개발에 큰 도움이 됐습니다.

# 썸네일로 1초만에 사용자 후킹하기

콘텐츠 홍수 속에서 숏폼에서 직관적으로 정보를 전달하며 후킹하기 위해서는 상황에 맞는 썸네일을 생성하는 것이 중요한 개발 포인트라는 것을 알아챘습니다.

앞서 말씀드린 다양한 이벤트에 맞춰 구현한 썸네일은 하기와 같이와 같습니다. 

<2024 프로골프 AI숏폼 썸네일 디자인 및 예시>

# 새로운 AI기술 도입, 그리고 실험적인 도전

Match Play 대회 같은 경우는 선수2명의 대결 구도로 진행이 되기 때문에 썸네일을 생성할 때 두 선수의 프로필을 전시하고자 했습니다. 

그런데 하기의 before 첨부 이미지를 보시면 선수의 프로필 사진이 제각각이라 의도했던대로 서비스 불가라고 생각했습니다.

좌절하기 보다는 방법을 모색하기 위해 AI Vision 기술들을 고민했고 Face Swap AI 모델을 접목시키는 순발력을 발휘했습니다.

Concept of AI Face Swap 첨부 이미지에서 보시는 것과 같이 원본 프로필인 Source Image를 기준으로 Target Image 스타일로 Result Image를 생성하는 원리입니다.

프로선수들의 프로필 스타일을 동일하게 하여 완성도 높은 썸네일로 사용자들에게 서비스 할 수 있었습니다.

<AI Face Swap 기술을 활용해 AI프사 생성 및 상용 AI Shorts 서비스 적용 예시>

이상. 많관부!

개발자만 만족하는 서비스가 아닌 사용자들에게 신선함과 가치있는 콘텐츠 경험을 제공할 수 있는 미디어 서비스 만들겠습니다.