OpenAI 의 음성인식 Whisper #2

fromDK 23.03.14

10,566 28 2

facebook twitter kakao link

28 2

facebook twitter kakao link

Whisper

소개 : 이전 블로그 참고

OpenAI 의 음성인식 Whisper #1

이번 시간에는 Whisper 논문의 성능 관련 부분을 살펴 보도록 하겠습니다.

https://arxiv.org/pdf/2212.04356.pdf

Wav2vec2 vs Whisper

우선 Facebook의 wav2vec2 와 각종 데이터셋간의 성능 비교입니다.

WER(Word Error Rate) 기준으로 wav2vec2는 29.3%, whisper는 12.8%로 약 두배 이상 더 좋은 성능을 내고 있습니다.

아래의 왼쪽 그림은 각 언어의 학습 데이터 양 대비 인식의 성능(WER)을 나타낸 그래프 입니다.

오른쪽(X축)으로 갈 수록 학습에 사용된 데이터의 양이 많다는 의미이며, 아래(Y축)로 갈 수록 인식 성능이 좋다는 의미 입니다.

한국어도 평균 이상의 데이터가 학습에 사용되었으나, 평균선(파란색)에서 약간 위쪽에 위치하므로 한국에 최적의 모델은 아니지만 준수한 성능을 나타내는 것으로 보입니다.

오른쪽 그림은 번역 데이터의 학습데이터 양 대비 번역 성능(BLEU)를 나타낸 그래프 입니다.

BLEU는 높을 수록 성능이 좋습니다. 한국어 번역 데이터의 양은 제일 많이 학습 시긴것을 알 수 있습니다.

Robustness in Noisy Environments

아래 그림은 노이즈가 있는 상황에서 인식 성능을 비교한 그림입니다.

White Noise와 같은 정적 노이즈 뿐만 아니라 Pub Noise같은 실생활 노이즈에서도 높은 인식 성능을 나타내는 것을 알 수 있습니다.

나중에 테스트 해볼 노래소리나, 감정이 섞인 연기자들의 목소리에도 잘 인식 되는 것을 확인 할 수 있습니다.

Long-form Transcription

다음은 30초 정도의 짧은 오디오가 아니라, TED영상과 같이 긴 데이터에 대한 인식 성능 결과 입니다.

Academic 용도로 보통 짧은 데이터만 사용하여 학습을 진행하는데 긴 오디오 데이터에 대해서도 높은 인식 성능을 보입니다.

Transformer Decoder가 LM역활을 하는데 이전의 context(Key, Value를 Caching해서)를 재 사용할 수 있도록 되어 있습니다.

사람 vs Whisper

예전에 다들 이세돌과 알파고의 대결에서 굉장한 충격을 받았는데요.

이번엔 사람과 Whisper간의 인식 대결 결과 입니다.

computer-assisted Human은 WER 7.61%로 1등. F사람은 8.14% 2등, G사람 8.65% 3등, Whisper는 WER 8.81%로 4등입니다.

다행히 (일부)사람이 아직은 Whisper보다 성능이 조금 좋습니다만. 4명중 2명이나 Whisper보다 성능(?)이 낮은 사람이 있네요.

논문에서는 "Whisper’s English ASR performance is not perfect but very close to human-level accuracy."이라고 하네요.

분석 의견

실제로 사용해보면, 사람이 인식 하기 어려운 말소리도 어느정도 인식이 되기도 하고(실제 맞는지는 모르지만)

전사된 문장의 쉼표나 마침표 그리고 심지어 느낌표 까지 구두점이 표시가 되는 것이 기존의 인식 모듈들과의 차이점으로 보입니다.

또한, 한국어로 말하는 도중 알파멧 발음은 영어로 표시되는 점이 굉장히 놀라웠는데요

기존의 ASR 엔진들은 "Open AI에서 공개한, 음성인식기 Whisper입니다!!"라는 오디오가 있으면,

"오픈에이아이에서 공개한 음성인식기 위스퍼입니다"와 같이 모두 한글로만 인식이 되는데

Whisper는 정답지와 같이 "Open AI에서 공개한, 음성인식기 Whisper입니다!"와 같이 영어 발음은 영어로 한국어 발음은 한글로표시가 되고

화자의 발화에 따라 쉼표 느낌표도 표시가 되는 점이 굉장히 놀랍습니다.

조만간 알파고 처럼 사람을 뛰어넘는 인식엔진이 나올 수도 있겠네요.

실제도 들어도 뭐라고 말했는지 모르는 오디오 데이터를 테스트 해본적이 있는데 저보다 성능이 좋아 보였습니다.

하지만 정답이 없어서 맞았는지는 모르겠네요 ^^

다음 시간에는 예제로 동작하는 방식을 분석해보도록 하겠습니다.

#PyTorch #OpenVINO #Tensorflow #MXNet #Scikit #Keras #Caffe

등록

DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.

익명

fromDK 님의 최신 블로그

Docker 빌드시 의존성(패키지 버전) 문제 확인 및 해결 방법

Docker build 시 설치되는 패키지의 의존성으로 기존에 설치된 패키지의 버전이 업/다운그레이드 되는 경우가 있습니다. 이때 아래와 같이 Docker build시 log를 출력해서 uninstall 로 검색하면 버전의 변경되는 것으로 확인 할 수 있습니다. docker build --progress=plain --no-cache -t { TAG } -f Dockerfile . 2〉＆1 | tee build.log 예를 들어 아래와 같이 pillow 버전이 12.0.0을 제거 하고, 다시 pillow-11.3.0을 설치하고 있다. 만약 다른 패키지만 12.0.0 이 꼭 필요한 패키지가 있으면 해당 패키지는 의존 패키지 버전 미스매칭으로 런타임시 오류가 발생합니...
고등학생도 이해하는 Transformer (Deep Learning) #6 - Deep Learning이란

고등학생도 이해하는 Transformer (Deep Learning) #1 고등학생도 이해하는 Transformer (Deep Learning) #2 고등학생도 이해하는 Transformer (Deep Learning) #3 고등학생도 이해하는 Transformer (Deep Learning) #4 고등학생도 이해하는 Transformer (Deep Learning) #5 이전 5편에서는 Linear Layer를 이용한 손글씨 분류기를 만들어 보았습니다. 사실 아직 Deep Learning이 아니라 Machine Learning으로만 이야기 하고 있습니다. 그럼 AI(Artificial Intelligence), ML(Machine Learning)과 DL(Dee...
고등학생도 이해하는 Transformer (Deep Learning) #5 (업데이트)

고등학생도 이해하는 Transformer (Deep Learning) #1 고등학생도 이해하는 Transformer (Deep Learning) #2 고등학생도 이해하는 Transformer (Deep Learning) #3 고등학생도 이해하는 Transformer (Deep Learning) #4 지난 시간에 내적의 의미를 다시 한번 생각 해봤습니다. 내적의 의미를 알면 계산을 하지 않아도 어느 벡터가 서로 얼마나 유사한지, 영향을 주는지, 닮았는지 형태만 보고서도 알 수 있었습니다. 지금까지 나온 이야기가 딥러닝과 너무 거리가 멀다는 이야기가 있어서 이번에는 실제 코드로 내적을 실습 해보고자 합니다. (아~ 고등학생은 Python 모를려나요? ^^；； 대신 그...
고등학생도 이해하는 Transformer (Deep Learning) #4

고등학생도 이해하는 Transformer (Deep Learning) #1 고등학생도 이해하는 Transformer (Deep Learning) #2 고등학생도 이해하는 Transformer (Deep Learning) #3 자, 이번 시간에는 4차원 이상의 벡터의 내적에 대해 이해 하고 넘어가도록 합시다. 되도록 수학연산은 안하도록 하겠습니다 ^^ 아래 4차원 Basis Vector를 머릿속으로 그려 봅시다. 첫번째 Basis Vector는 ［ 0.5000, 0.5000, 0.5000, 0.5000 ］ 이거 두번째 벡터는 ［ 0.6533, 0.2706, -0.2706, -0.6533 ］ 세번째.... 네번째 벡터로 구성되어 있습니다. 이러한 벡터의 모음을 행렬(...

목록으로

DEVOCEAN

로그인 선택

미리보기

커뮤니티

글 등록

임시저장함

데보션 블로그 게재 요청