DEVOCEAN

SK텔레콤 오픈 2021 - AI 메타버스 생중계

지난 6월 10~13일 "SK텔레콤 오픈 2021" 골프대회에서 AI기술을 활용한 AI 메타버스 생중계로 실감나는 방송 영상을 제공하였습니다.

SK텔레콤의 AI 기술을 활용하여, 개별선수를 인식해 선수별, 홀별 주요 경기장면을 실시간으로 자동 편집, 보여주는 ‘AI 하이라이트’ 기술과 화질개선 및 프레임 확장기술인 ‘슈퍼노바’를 활용하여 AI가 초당 30프레임인 선수들의 스윙 동작을 120프레임으로 변환한 슬로모션으로 보여 주었습니다. 그리고 골프 코스내 현장 잡음을 오디오 분리기술(Soundistill)로 제거해 선수들이 홀을 공략하기 위해 캐디와 나누는 대화까지도 들을 수 있었습니다.

아래의 AI메타버스 생중계 소개 영상 참고 바랍니다.

AI 오디오 기술 - Soundistill 

 AI메타버스 생중계에서 AI하이라이트, 슈버노바 등 SKT의 다양한 기술들이 적용되었으나, 저희 팀에서 개발한 AI 오디오 기술인 Soundistill의 세부 기술 중에 하나인 AI잡음제거에 대해 설명드리도록 하겠습니다.

 실제의 소리들은 다양한 사운드 소스가 혼합되어 있기 때문에 일반적으로 매우 복잡합니다. 정상적인 청력을 가진 사람은 동시에 들리는 음원을 쉽게 찾고 식별하고 구별 할 수 있습니다, 하지만 시끄러운 소리에서 특정 소리를 식별하기는 쉬운 일은 아닙니다. SKT의 Soundistill 기술을 이용하면, 복잡하거나, 시끄러운 소리에서도 특정 소리만 추출 가능합니다. "소리"(Sound)와 "증류, 정제하다"(Distill)의 합성어인 Soundistill 은 기계 학습을 통해 어떤 소리에서 특정 소리를 분리하도록 학습을 시키면, 시끄러운 소리에서도 유저가 원하는 특정 소리를 분리를 할 수 있습니다. 예를 들면 시끄러운 소리에서 목소리만 분리 하여 사람이 잘 들을 수 있게 하거나, 음악에서 보컬, 피아노, 베이스, 드럼 등의 각 악기 소리로 분리 하는 것이 가능합니다.

 아래 그림과 같이 어떤 혼합된 소리(Mixture)에서 학습된 타겟 소스, 예를 들면 사람 목소리와 그 외 소리로 분리하여 노이즈를 제거 할 수 있습니다. 이러한 기술은 시끄러운 환경에서 인터뷰를 하는 경우, 목소리만 추출하여 시끄러운 노이즈를 제거 할 수 있습니다.

아래 이준석 선수의 인터뷰에서 AI 잡음제거 기술 전용 전과 후의 차이를 확연히 느낄 수 있습니다. 영상의 앞부분인 한설희 프로가 인터뷰를 시작하는 부분에서는 잡음제거를 하지 않아 폭포의 노이즈가 크게 들리고, 이준석 선수가 답변하는 부분에서는 노이즈가 없이 목소리를 또렷히 시청 할 수 있습니다.

이외에도 AI 오디오 기술인 SKT의 Sounditill에는, 위에 설명한 AI노이즈 제거 기술 및 노래의 각 악기별로 분리 가능한 음원 분리 기술, 노래의 가사를 자동으로 동기화 맞추는 AI가사동기 기술, 목소리를 텍스트로 변환하는 STT(Speech To Text)등의 다양한 오디오 기술들이 있습니다. 추후 세부 기술들에 대해서 소개하는 시간을 가지도록 하겠습니다

참고 : https://www.sktelecom.com/advertise/press_detail.do?page.page=1&idx=5566&page.type=all&page.keyword=