DEVOCEAN

안녕하세요!

SKT Fellowship 6기에서 'AI 활용 5G 음성 통화 서비스 검증 자동화’ 과제를 진행하게 된 팀 sk삭임 입니다.

저희의 팀명은 통화 서비스의 검증 자동화를 통한, 사람과 사람을 잇는 통화 음성의 속삭임을 의미하기도 하고,

SKT 프로젝트에 참여하면서 만들어 나갈 수많은 사람들과의 사귐도 이루겠다는 팀의 목표를 담고 있습니다.

이 포스트에서는 저희의 전반적인 연구계획과 태스크의 진행 방향을 소개해 드리겠습니다.

과제 추진 배경

통화 중 음질이 저하되거나, 연결이 끊겼던 경험이 있으신가요?

해당 문제들이 발생했을때 사용자들의 불만족이 증가하고, 사용자들은 소통의 오류를 경험했다고 합니다.

또한 HD Voice는 LTE망을 사용하는데, 이때 LTE 네트워크 망이 약한 지역에서는 사용이 어려웠습니다.

따라서 저희는 통화 연결중, 통화중, 부재중 등의 이벤트를 고려하여 다각도로 통화의 품질을 평가하고자 합니다.

저희가 고려한 음성 통화 품질 저하의 원인으로는 네트워크 오류, 잡음 및 외부 소음, 상대방 음성 발음 정확도 등이 있습니다.

연구 목표

저희의 전체 연구 목표는 AI를 활용한 통화 음성 품질 측정 및 개선입니다. 이를 진행하기 위해 아래와 같이 이벤트 분리를 진행할 예정입니다.

세부 연구 목표 개요

1. 통화 분류 데이터셋 생성과 음성 이벤트 및 소음 분리

   1.1. 이벤트 분리를 위한 데이터셋 생성

   1.2. 음성 이벤트 분리

   1.3. 소음 분리

2. 음성 통화 품질 평가 체계 구축

   2.1. 명료도 및 소음 억제 수준 평가

   2.2. 음성 인식 및 화자 분리 평가

세부 연구 수행 계획

1. 통화 분류 데이터셋 생성과 음성 이벤트 및 소음 분리

1.1. 이벤트 분리를 위한 데이터셋 생성

통화 이벤트 분류를 위해 데이터셋을 구축할 것입니다. 데이터셋을 구축하기 위해서 AI Hub의 데이터를 사용할 예정입니다.

음성 데이터로는 실제 전화 환경과 유사한 데이터를 사용하기 위해 전화망 데이터 활용하고 저음질 데이터를 사용하여 품질 개선 여부 가시화하기 위해 AI Hub 저음질 전화망 인식 데이터를 사용합니다.

또한 소음 데이터는 다양한 환경의 소음을 활용하여 음성 이벤트 분리 모델의 강건성 확보하기 위해 AI Hub의 극한 소음 음성인식 데이터를 사용합니다.

해당 데이터들과 연결음, 컬러링 등을 고려하고, 수집 데이터와 생성 음성의 다양하고 체계적인 조합을 통해 이벤트 분리 및 소음 억제 태스크를 위한 새로운 데이터셋 생성할 것입니다.

1.2. 음성 이벤트 분리

다음으로 음성 이벤트 분리를 위해 오디오에서 통화 연결 중, 통화 중, 통화 종료 상황을 분리할 것입니다.

‘연결중’에 해당하는 오디오는 주로 통화 연결음으로, 고정적인 특징 추출이 가능하며, 이외에도 컬러링, 링백톤의 경우 음악의 고유 특성이 있으며

이를 통해 통화 연결로 전환되는 시점의 변환 탐색할 수 있을 것입니다.

또한 ‘통화중’에는 통화 중 상황에서 정적/통화 종료 전환 시점 탐지할 예정입니다.

1.3. 소음 상황 분리

이후 소음 상황을 분리합니다. 이때 Noise Detection과 Voice Separation을 활용합니다.

Noise Deteciton은 음성 오디오를 윈도우 단위로 분리 후 소음 여부 판단하는 방식을 사용하여 소음 종류에 대한 분류 모델 적용할 예정이며,

Voice Separation은 Noise-Aware Speech Separation (NASS)을 사용하여 예측된 음성 표현과 실제 음성 표현 간의 유사도를 최대화하고

예측된 소음 표현과 예측된 음성 표현 간의 유사도를 최소화하는 방식을 사용할 예정입니다.

2. 음성 통화 품질 평가 체계 구축

2.1. 명료도 및 소음 억제 수준 평가

먼저 명료도 및 소음 억제 수준을 평가하기 위해 PESQ, POLQA 등 기존에 사용되었던 평가지표들을 활용하여 다각적인 음성 품질 평가를 진행할 예정입니다.

2.2. 음성 인식 평가

다음으로 음성 인식 정확도를 평가하기 위해 attenuation ratio, WER, ORC WER 등 기존 지표들을 적용할 예정입니다.

연구 일정

팀소개

저희 sk삭임 팀원은 박사 과정생 이민영과 석사 과정생 정의석, 양성연으로, 전부 성균관대학교의 같은 연구실에 소속되어 있어 활발한 소통과 협업이 매우 좋은 팀입니다.

멘토님들의 다각적인 인사이트와 저희 팀의 기발함과 성실함으로 좋은 성과를 낼 수 있도록 연구와 과제 수행에 매진하겠습니다~!

각자 주된 리딩을 하게 될 연구 세부 주제는 다음과 같습니다.