DEVOCEAN

안녕하세요. 저희는 이번 SKT AI Fellowshi 4기에서 "콘텐츠 분석을 위한 오디오 기반 상황인식 정보 분석 기술 개발" 을 주제로 연구를 진행하게 된 AIDA Team (AIDAT)입니다.

팀원 모두가 Speech 분야의 연구 경험 및 관심이 있어 본 과제에 지원하게 되었습니다. 열심히 해보겠습니다!

1. 연구 과제 소개

1.1 연구의 필요성

콘텐츠 분석을 위한 오디오 기반 상황인식 정보 분석 기술 개발은 아래 그림과 같이 콘텐츠의 오디오만을 입력으로 받고 해당 상황의 정보를 텍스트로 설명하는 기술입니다.

왼쪽 그림은 다들 아시는 "오징어 게임" 중 한 장면입니다. 예를 들어 해당 장면을 소리 없이 본다면 사람들이 왜 놀란지 알기가 어렵겠죠?

비슷하게 오른쪽 그림은 Btv에서 방영하는 "세상에 나쁜 개는 없다"의 한 장면입니다.

저 장면만을 소리 없이 본다면 개가 화나서 짖고 있는 것인지, 또는 반가워서 사람 품에 안기려는 것인지 알기 어렵습니다.

따라서 저희 팀은 콘텐츠에서 발생하는 오디오를 통해 "총성", "강아지가 사납게 짖는다"와 같은 태그 및 캡션을 자동으로 생성하는 기술을 개발하여

청각 장애인을 위한 베리어 프리 (barrier free) 서비스 및 콘텐츠 하이라이트 자동 생성에 활용할 수 있는 메타데이터 구축에 이용하고자 합니다.

1.2 연구 목표

저희 팀은 청각 장애인 분들의 방송 콘텐츠 향유 경험 강화 및 콘텐츠 메타데이터 구축을 위해 오디오로부터 태그와 캡션을 생성하는

오디오 태깅 (Audio Tagging) 및 오디오 캡셔닝 (Audio Captioning)을 수행하는 모델을 개발하고자 합니다.

이를 통해, Btv와 같은 다양한 방송 콘텐츠에 해당 기술 적용을 목표로 하고 있습니다.

2. 연구 수행 계획

2.1 기존 연구

저희는 위 두 가지 연구 목표를 해결하기 위해 오디오 태깅 및 캡셔닝 관련 기존 연구들을 찾아보았고, 크게 두 가지의 문제점을 발견하였습니다.

1. 해당 태스크의 백본으로 사용되는 인코더의 한계점

   • VGGish, PANNs 기반의 CNN 모델은 Audio Representation 제한적이고 Variable-length를 갖는 데이터의 입력에 취약함

   • CNN + Transformer를 결합한 구조는 구조적 유연성이 떨어짐 (e,g,, Scale up)

2. Two-Stage Training Scheme in Audio Captioning

   • 기존 오디오 캡셔닝 학습은 대부분 오디오 태깅과 같은 분류 문제의 대규모 데이터셋에 대해 인코더를 Pre-training하고, 이후 Fine-tuning하는 방식으로 수행됨

저희는 위 두 가지 문제에 포커스를 두고 이를 개선할 수 있는 학습 프레임워크 개발을 목표로 합니다.

2.2 연구 과제 아이디어

1) Audio Spectrogram Transformer

CNN 기반의 오디오 인코더가 지니는 한계점을 해결하기 위해 저희가 Baseline으로 구축할 모델은 Audio Spectrogram Transformer (AST)입니다.

Vision Transformer와 유사한 구조인 AST는 오디오 태깅 태스크에서 우수한 성능을 보여줬을 뿐만 아니라 입력 길이의 변화에 강건하고 Transfer Learning이 용이하다는 장점이 있습니다.

따라서 오디오 캡셔닝 태스크에서 기존에 사용하던 CNN 기반의 인코더 대신 해당 모델을 적용하려고 합니다.

그리고 AST에 Patchout 방법을 적용하여 성능과 효율성을 동시에 높인 PaSST도 함께 적용할 예정입니다.

2) Multi-Task Learning

기존 오디오 캡셔닝의 Two-Stage 기반의 방법대신 Taggigng, Captioning, Acoustic Scene Classification 등 다양한 태스크의 대용량 Supervised 데이터셋을 활용할 수 있는 Multi-task 학습 방식을 적용하려고 합니다.

이를 통해 다양한 태스크로부터 범용적인 Audio Representation을 추출할 수 있을 것으로 기대하고 있습니다. (MT-DNN)

3) Inter-task Joint Strategy

위에서 언급했던 Multi-task 학습 방식을 구축함으로써 한 가지 이점을 더 얻을 수 있습니다.

하나의 오디오 상황이 주어졌을 때, 해당 오디오에 대한 태그와 캡션은 어느 정도 연관성을 가지고 있을 수 있습니다.

예를 들어 비가 내리면서 사람이 걷고 있는 상황인 경우, 해당 오디오에 대한 태그는 "빗소리", "발 소리"가 될 수 있고 캡션은 "비가 내리는 가운데 발 소리가 들린다"가 될 수 있습니다.

그렇기 때문에 더 정확한 캡션 생성을 위해, 위 그림과 같이 태그에 대한 임베딩 정보를 캡션 생성 디코더에 전달하여 연산을 수행하는 방법을 제안합니다.

그리고 Gated Module을 적용하여 모델이 태그 정보를 Adaptive하게 사용하도록 학습할 수 있습니다.

2.3 연구 계획 일정

3. 팀 소개

1조 AIDAT

저희 팀은 세 명 모두 고려대학교 산업경영공학과 AIDA 연구실에서 연구중인 대학원생으로,

Speech Enhancement, Sound Event Localization and Detection, Voice Conversion 등 음성 관련 다양한 연구를 수행하고 있습니다.

음성 분야에 경험이 많으신 김동원, 이승진 멘토님과 함께 좋은 연구 및 서비스를 개발하고 싶습니다 :)

각 팀원들의 업무 분배는 아래와 같습니다.