DEVOCEAN

안녕하세요. SKT AI Fellowship 4기, Team AIDAT 입니다.

지난 블로그에서는 연구 계획에 대해 글을 작성하였는데요, 이번에는 연구 계획에 따라 저희가 실험하고 개발한 내용에 대해 글을 쓰려고 합니다.

먼저 지난 내용에 대해 간략하게 짚어보겠습니다.

1. 오디오 기반 상황인식과 최신 기술 동향

지난 글에 대한 링크는 여기 있습니다.

콘텐츠 분석을 위한 오디오 기반 상황인식 정보 분석 기술 개발 - 연구계획(1)

1.1 연구 목표

저희 팀은 청각 장애인 분들의 방송 콘텐츠 향유 경험 강화 및 콘텐츠 메타데이터 구축을 위해 오디오로부터 태그와 캡션을 생성하는 Audio Tagging 및 Audio Captioning을 수행하는 모델 개발을 목표로 하고 있습니다.

1.2 최신 기술 동향

1) TRAKE: A Transformer-based Audio Captioning Model with Keyword Estimation

Koizumi, Yuma, et al., Interspeech (2020)

Pretrained-VGGish 모델이 Audio Spectrogram Input을 Embedding 하도록 하고, Text Input에 대해서는 fastText를 적용하여 Embedding을 생성하도록 한뒤에, 각각 Transformer Encoder와 Decoder가 데이터를 처리하도록 만들어진 모델입니다.

DCASE2020 AAC (Automated Audio Captioning) Challenge에서 1위를 차지하며 제안되었고, Captioning을 수행하도록 하는 Transformer-decoder 외에 Encoder의 출력을 통해 Keyword Estimation을 수행하도록 하는 Linear-branch를 추가하였습니다.

해당 논문에서는 Clotho 데이터 셋을 기반으로 한 실험을 통해 모델의 Caption 생성 학습 과정 내 Keyword Estimation Learning이 추가되는 것이 유의미한 성능 향상을 이끌어 낼 수 있다는 것을 보였습니다.

2) KPE-MAD: Keyword Pre-trained Encoder and a Multi-model Attention Decoder

Ye, Wang, et al., Technical Report, DCASE2021 (2021)

DCASE2021 AAC Challenge에서 3위를 기록한 방법론으로, NLTK(Natural Language Toolkit)을 통한 GT(Ground Truth) Caption으로부터 Keyword (Multi-hot Vector) 를 추출하여, Audio Spectrogram Input을 처리할 ResNet38을 Keyword Predictor와 먼저 사전 학습시킵니다.

이후 AAC Training에서는 LSTM을 사용하되, 앞서 학습된 ResNet38은 Freeze된 상태로 Audio Spectrogram의 Feature Embedding을 추출하고 이는 AAC-LSTM의 Initial-hidden-state(x)로써 정의됩니다.

Multi-model Attention을 통해 현재 시점 LSTM-hidden-state에 대한 Keyword Estimator가 추출한 Keyword, 그리고 이전 시점까지의 Caption Token과의 Feature Fusion을 수행하여 LSTM에 전달함으로써 Keyword Estimation이 Captioning 생성에 좀 더 직접적으로 관여하도록 설계되었습니다.

3) X-Transformer: X-Linear Attention Networks for Image Captioning

Pan, Yao, et al., IEEE/CVF (2020)

한편, ACC와 유사하다고 볼 수 있는 Vision Language; Image Captioning 도메인에서의 State-of-the-art 방법론들은 Object Detection Model을 통한 원본 Image로 부터의 Feature Region(ROI; Region of Interest)들을 추출하여, Caption Token들과의 상관성 연산을 수행하도록 함으로써, Captioning의 성능을 올릴 수 있는 방안들을 제안하고 있습니다.

X-Linear Attention은 Faster R-CNN으로부터 추출된 ROI들의 Embedding과 Word Embedded Projection들과의 동시 (Bi-linear) Cross-modality Attention 연산을 제안하였습니다.

4) CLIP; Beyond a Pre-Trained Object Detector: Cross-modal Textual and Visual Context for Image Captioning

Kuo and Kira, IEEE/CVF (2022)

Object Detection Task로써 사전 학습된 CNN-encoder가 추출하는 ROI에 기반한 Embedded Feature는 Captioning Task 수행을 위한 Object 간 관계성이 반영되기 어려운 점에 착안하여, **Cross-modal Retrieval **및 Image Conditioning을 통한 Captioning 기법을 제안하였습니다.

본 논문에서는 Text 및 Image Encoder, 그리고 Object Detector를 Freeze 시키고 FC-layer 및 Captioning-decoder를 학습함으로써 더 높은 성능을 기록할 수 있었다고 합니다.

2. 평가 지표

Automated Audio Captioning (AAC) 에서의 평가 지표는 다음과 같습니다.

1) ROUGE: Recall-Oriented Understudy for Gisting Evaluation

ROUGE는 예측한 Caption 문장 (Candidates) 과 Label 문장 (Reference) 간 단어 순서쌍(N-gram)이 겹치는 정도를 측정하며, 0~1 사이의 값을 지닙니다.

• ROUGE-N

  Reference 내 N-gram의 수를 분모로, Candidate과 서로 겹치는 N-gram 수를 분자로 하여 계산합니다.

• ROUGE-L

  Longest Common Subsequence (LCS)를 활용하여 최장 길이의 순서로 매칭되는 단어 수를 기반으로 합니다.

• ROUGE-S

  Skip-gram 기반으로 매칭되는 수를 계산합니다.

2) BLEU: Bilingual Evaluation Understudy

BLEU 역시 N-gram을 기반으로 Candidate과 Reference간 유사성을 측정하며, 0~1 사이의 값을 지닙니다.

다만, 짧은 문장 길이에 대한 과적합 (Brevity Penalty; BP) 과 연속적인 같은 단어의 출현 시의 과적합 (Clipping) 을 보정하여 계산한다는 것이 ROUGE와 차별된다고 볼 수 있습니다.

3) METEOR: Metric for Evaluation of Translation with Explicit ORdering

Uni-gram 기반 Precision 및 Recall을 통한 (가중) 조화 평균 F-score 와 Uni-gram이 N-gram으로 묶이는 그룹 개수인 Chunk(c) 에 대한 Penalty Term 을 통해 문장 간 유사성을 계산하며 가질 수 있는 값의 범위는 0~1 입니다.

4) CIDEr: Consensus-based Image Description Evaluation

N-gram 과 TF-IDF 를 활용한 평가 지표로, 다수의 Reference 문장이 존재할 때 더 신뢰성 있는 지표가 계산될 수 있습니다.

다음에서 파란색 박스는 Candidate N-gram들이 Reference들 내 등장하는 비율로써, TF(Term Frequency)에 해당합니다.

그리고 붉은색 박스는 Candidate N-gram들이 전체 데이터 중 p 번째 데이터의 Reference 문장들 중 등장한 횟수 (DF; Document Frequency) 를 역수 (IDF; Inverse Document Frequency) 를 취한 것입니다.

이 때, N-gram에 대한 CIDEr 는 Candidate과 Reference N-gram에 대해 계산한 TF-IDF 벡터간의 Cosine 유사도로써 표현됩니다.

5) SPICE: Semantic Propositional Image Caption Evaluation

N-gram 기반 유사도 지표들의 한계인 동의어 및 문법성에 대한 보완을 시도하고자 Semantic Scene Graphs를 활용하는 지표입니다.

Semantic Scene Graphs는 Stanford Scene Graph Parser를 약간 수정한 것으로 문장 내 Object (명사), Attribute(수사), 그리고 Relation(Object 간의 관계) 에 대한 표현을 내포하고 있습니다.

다음에서 T(G)는 Semantic Scene Graphs 내 Object, Attribute, 그리고 Relation의 합집합을 표현합니다.

이때 SPICE는 Candidate과 Reference 문장의 T(G) 내 원소를 기반으로 계산한 Precision과 Recall의 F1 score로 표현됩니다.

3. 제안 모델

앞서 살펴본 Audio/Image 로부터의 Caption 생성 관련 기술들은 공통적으로 Keyword Estimation에 대해 함께 학습함으로써 성능을 끌어올릴 수 있는 방안들을 제시하고 있습니다.

이에 대해, 저희 팀에서 고안하고자 하는 Keyword Estimation의 방향성에 대해 소개하고자 합니다.

3.1 기존 방법론들의 한계점

Image Captioning에서 소개된 바와 같이, Vision Language 도메인에서는 Object Detector 모델들을 활용하여 이미지 내 객체 (Obect) 에 대한 Reigion (ROI) 정보를 추출하고, 이에 대한 명시적인 특징 정보를 활용하여 Caption을 생성하였습니다.

이는 즉, Image 내 특정 Region과 생성될 Caption의 Keyword간 직접적인 정보의 Mapping 형성하는 학습을 지향하고 있다고 볼 수 있습니다.

하지만, Image와는 다르게 Audio 도메인에서는 Spectrogram으로부터 Keyword의 직접적인 연관 Region을 특정하는 것이 까다롭습니다.

물론 Sound Event Detection (SED)를 수행하는 모델을 기용하여 Spectrogram의 시간 축에 해당하는 Region 정보를 추출하는 방안을 고민해볼 수 있겠으나, 중복되는 Sound 가 발생 및 많은 Class를 커버하기 위한 고품질 데이터를 구축하는 것은 아직까지는 어려운 실상입니다.

이에 대해서 본 연구에서는 외부적인 모델에 의존하지 않고, Keyword-responsible Region 정보를 추출하여 Caption과의 관계를 형성할 수 있는 학습 및 모델 구조를 제안하려고 합니다.

3.2 아이디어

MIL: Multiple Instance Learning

MIL이란, 여러 개의 Instance (Regions) 의 묶음 (Bag)로 된 입력 (Image) 와 Bag-level의 정답 (Region 별 원인 인자의 존재 유무) 이 주어질 때, 각 Instance의 정답에 대한 기여도를 반영하기 위한 학습 방법입니다.

MIL은 주로 의료 영상 및 이미지 처리 또는 Weakly-supervised Learning에서 사용되며, 한번에 처리하기 힘든 고해상도의 이미지 (WSI; Whole Slide Image) 가 주어졌을 때, 상대적으로 이미지 내 아주 작은 영역에 대해 존재하는 원인 인자 식별을 위해 기용됩니다.

3.3 제안 방안

본 연구에서 제안하고자 하는 방향은 다음과 같습니다.

Spectrogram을 Patch 단위로 처리하도록 하는 AST 기반 Encoder 모델을 사용하고, Caption 문장 생성을 위한 Decoder 외, Caption 문장 내 Keyword를 예측하는 Task-branch를 Encoder 뒤에 추가함으로써, Audio Tagging 및 Audio Captioning을 동시 수행하는 모델 개발을 제안합니다.

이때, Keyword Estimation에서의 MIL 적용은 각 Spectrogram Patch와 예측하는 Keyword 간의 연관성을 형성 (Align) 하는 역할을 수행하게 됩니다.

4. 실험 결과

본 연구의 실험에서는 AAC 데이터셋인 Clotho 데이터셋이 활용하여 모델 간 성능을 비교/평가하였습니다.

4.1 Encoder Comparison

먼저 기존의 AAC-task에서의 SOTA 모델인 ACT (Audio Captioning Transformer) 에서 Audio Spectrogram을 처리하는 Encoder 부분을 각각 AST (Audio Spectrogram Transformer) 와 PaSST-S (Efficient Training of Audio Transformers with Patchout) 모델의 Encoder로 대체해보는 실험을 수행하였습니다.

위의 표에서 볼 수 있다시피, Spectrogram의 시간 축을 분할 및 입력 단위로 하여 처리하는 ACT-encoder 와 Patch 단위의 분할 및 처리를 수행하는 AST-encoder 간의 성능은 유사하였습니다. 하지만, PaSST-S-encoder의 성능이 유의미한 향상을 보여주면서, Patch out을 통한 강건한 학습이 Caption 문장 생성의 성능 향상에 크게 효과가 있었음을 증명하였습니다.

4.2 MIL Learning

두 번째 표에서는 각각의 모델들에 대해 MIL-branch를 추가하여 학습하였을 때 Captioning에 대한 평가 결과를 보여줍니다.

ACT 과 AST 는 각각 MIL-branch를 통해 Keyword Estimation이 추가되어 학습하였을 경우, 유의미한 성능의 개선을 보였습니다. 특히 Patch 단위의 처리를 수행하는 AST에서는 Reference 문장과 Context적인 유사성을 측정하는이 CIDEr 과 SPICE 에서의 큰 성능의 향상을 기록하며, MIL의 효과를 크게 볼 수 있었습니다.

반면, PaSST-S의 경우 성능의 개선을 보이지 않았는데, 이는 Patch를 Random하게 제거하는 PaSST의 특성 상 Keyword와 Path간의 Alignment를 형성하고자하는 MIL의 효과를 보기 힘들었다고 해석됩니다.

5. 향후 계획

5.1 Meaningful Keyword Extraction

NLTK는 "Wall Street Journal" 데이터셋에서 94%의 POS(Part-of-speech)-tagging 정확성을 보여주지만, 실제 Captioning 데이터 셋에 적용해본 결과, 부정확한 Tag들이 추출되는 것을 확인하였습니다.

이에 대해, 좀 더 나은 POS-tagging 을 추출할 수 있는 Tool 혹은 관련 딥러닝 모델들을 활용하여 유의미하고 정확한 Keyword들을 추출함으로써 제안하는 방법론의 성능을 개선하고자 합니다.

5.2 Decoder Improvement

기존의 AAC 방법론들은 Audio Encoder 관련 연구에 집중하고, Decoder 모델로는 Transformer (from the scratch)를 활용하는 동향을 보이고 있습니다.

유사한 도메인인 Image Captioning 분야에서는 Pre-trained Language 모델을 Captioning Decoder로 Adaptation 하는 방안에 대해 활발히 연구되고 있으며, 이를 통한 많은 성능의 개선을 보였습니다.

이에 따라, 본 연구에서도 Audio Captioning에서 Pre-trainined Language 모델을 적용하는 방안을 통해 성능의 개선을 도모해보고자 합니다.