DEVOCEAN

기존 음성인식 모델은 비용과 시간이 많이 드는 human-label에 의존한 지도학습(supervised learning) 기법으로 개발되었습니다. 하지만 모델의 크기가 커지고 다양한 음향적 특성을 반영하기 위해, 라벨이 없는 데이터를 활용한 자가학습(self-supervised learning) 기법이 음성인식 분야에서 확고한 트렌드로 자리 잡았습니다. 이번 발표에서는 50만 시간의 다국어 unlabeled 데이터를 구축해 self-supervised learning에 기반한 speech foundation encoder 개발 방법과, 특정 언어 및 도메인 데이터로 fine-tuning하여 최적화하는 다국어 E2E 음성인식 개발 방법을 공유하고자 합니다.

신성환SK텔레콤

SK텔레콤에서 음향모델, wakeup, confidence measure, attention-based encoder/decoder 등의 모델링 업무를 담당해 왔습니다. 최근에는 self-supervised learning과 multi-lingual 음성인식 모델 개발에 주력하고 있습니다.

#Self-supervised Learning #Pre-training #Fine-tuning #Multi-lingual E2E 음성인식