로그인 선택
미리보기
커뮤니티
23.06.15
글 등록
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
OpenAI 의 음성인식 Whisper #1
ChatGPT로 떠들석한 가운데 작년 9월에 음성인식(ASR: Automatic Speech Recognition) 모델인 Whisper를 공개 했습니다.
https://openai.com/blog/whisper/
https://github.com/openai/whisper
학습데이터를 무려 680,000시간을 사용하여 학습한 모델을 공개하였습니다.
사용된 데이터의 양을 보면 아래 그림과 같이 다양한 언어를 학습을 시켰는데요. 그중에 특히 한국어가 약 8,000시간, 영어 제외 언어로는 7번째 많은 양의 데이터를 학습을 시켰습니다.
아마 A.I.Hub(https://aihub.or.kr)의 데이터를 사용하지 않았을까 추측되는데요.
기존의 오픈 된 ASR 모델들은 영어 또는 영어권 위주의 데이터로 학습이 되어 있어서 국내에서 사용하기엔 다시 한국어로 모델을 학습해서 사용했었어야 하는데요.
그런데 친절히도 OpenAI의 Whisper는 한국어 데이터셋을 사용하여 학습하여 한국어의 인식에도 뛰어난 성능을 보여줍니다.
Whisper 논문의 저자를 보니, 익숙한 한국인의 이름이 있는데요.
공동 저자이신 김종욱님께서 Whisper개발에 기여를 해주셔서 한국어 데이터가 학습에 이용된 것 같습니다.
김종욱님 감사합니다!!
Network
네트워크 모델자체는 Transformer를 사용해서 특별히 큰 차이점은 없어보이는데요.
아래 그림과 같이 Multitasking Training으로 Transcription 과 Translation Task가 있습니다. 잠깐? Translation도 된다구요??
인식 뿐만 아니라 바로 번역까지 되고, Time Alignment도 됩니다. 우와~~
Facebook wav2vec, AWS Transcribe, Google STT와 비교해도 인식률이 월들히 좋은 것을 확인 할 수 있습니다.
특히 일상생활 대화부터 감정이(?) 섞이 거나 소리지르듯이 발화하거나, 모델명 처럼 속삭이는 소리로 잘 인식이 됩니다.
특히 노래도 인식이 잘 되는 점이 타 모델들(데이터셋의 차이?)과의 큰 차이점이 아닐까 싶습니다.
다음 번에는 성능 분석, 예제 코드인 실시간 인식 부터 번역 예제, 파인튜닝까지 분석해보도록 하겠습니다.
Whisper를 사용하면 실시간 인식, 번역 가사동기 등 다양한 분야에 사용할 수 있을 것 같습니다.
#이제 우리아들 영어 유치원 안보내도 되겠어요
fromDK 님의 최신 블로그
더보기-
- Docker 빌드시 의존성(패키지 버전) 문제 확인 및 해결 방법
- Docker build 시 설치되는 패키지의 의존성으로 기존에 설치된 패키지의 버전이 업/다운그레이드 되는 경우가 있습니다. 이때 아래와 같이 Docker build시 log를 출력해서 uninstall 로 검색하면 버전의 변경되는 것으로 확인 할 수 있습니다. docker build --progress=plain --no-cache -t { TAG } -f Dockerfile . 2〉＆1 | tee build.log 예를 들어 아래와 같이 pillow 버전이 12.0.0을 제거 하고, 다시 pillow-11.3.0을 설치하고 있다. 만약 다른 패키지만 12.0.0 이 꼭 필요한 패키지가 있으면 해당 패키지는 의존 패키지 버전 미스매칭으로 런타임시 오류가 발생합니...
-
- 고등학생도 이해하는 Transformer (Deep Learning) #6 - Deep Learning이란
- 고등학생도 이해하는 Transformer (Deep Learning) #1 고등학생도 이해하는 Transformer (Deep Learning) #2 고등학생도 이해하는 Transformer (Deep Learning) #3 고등학생도 이해하는 Transformer (Deep Learning) #4 고등학생도 이해하는 Transformer (Deep Learning) #5 이전 5편에서는 Linear Layer를 이용한 손글씨 분류기를 만들어 보았습니다. 사실 아직 Deep Learning이 아니라 Machine Learning으로만 이야기 하고 있습니다. 그럼 AI(Artificial Intelligence), ML(Machine Learning)과 DL(Dee...
-
- 고등학생도 이해하는 Transformer (Deep Learning) #5 (업데이트)
- 고등학생도 이해하는 Transformer (Deep Learning) #1 고등학생도 이해하는 Transformer (Deep Learning) #2 고등학생도 이해하는 Transformer (Deep Learning) #3 고등학생도 이해하는 Transformer (Deep Learning) #4 지난 시간에 내적의 의미를 다시 한번 생각 해봤습니다. 내적의 의미를 알면 계산을 하지 않아도 어느 벡터가 서로 얼마나 유사한지, 영향을 주는지, 닮았는지 형태만 보고서도 알 수 있었습니다. 지금까지 나온 이야기가 딥러닝과 너무 거리가 멀다는 이야기가 있어서 이번에는 실제 코드로 내적을 실습 해보고자 합니다. (아~ 고등학생은 Python 모를려나요? ^^；； 대신 그...
-
- 고등학생도 이해하는 Transformer (Deep Learning) #4
- 고등학생도 이해하는 Transformer (Deep Learning) #1 고등학생도 이해하는 Transformer (Deep Learning) #2 고등학생도 이해하는 Transformer (Deep Learning) #3 자, 이번 시간에는 4차원 이상의 벡터의 내적에 대해 이해 하고 넘어가도록 합시다. 되도록 수학연산은 안하도록 하겠습니다 ^^ 아래 4차원 Basis Vector를 머릿속으로 그려 봅시다. 첫번째 Basis Vector는 ［ 0.5000, 0.5000, 0.5000, 0.5000 ］ 이거 두번째 벡터는 ［ 0.6533, 0.2706, -0.2706, -0.6533 ］ 세번째.... 네번째 벡터로 구성되어 있습니다. 이러한 벡터의 모음을 행렬(...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.