DEVOCEAN

안녕하세요!

SKT Fellowsup 6기 생성형 AI 기술을 이용한 보이스 피싱 탐지 기술 개발 과제를 진행한 피싱피싱(Phishing Fishing) 입니다.

이번 포스트에서는 최종 연구 결과를 공유하며, 저희가 문제를 어떻게 정의했는지, 어떤 접근 방식을 취했는지, 그리고 어떤 결과를 도출했는지를 차례대로 소개해 드리겠습니다.

연구 과제 소개

요즘 뉴스에서 자주 등장하는 "딥페이크"와 "보이스피싱"

이제는 단순한 화제가 아닌, 실질적인 사회적 위협으로 자리 잡고 있습니다. 특히 이 기술을 악용한 보이스피싱은 더 정교한 수법과 기술로 사람들에게 실제 피해를 주고 있습니다.

저희는 이에 효과적으로 대응할 수 있는 기술을 개발하는 것을 목표로 하고 있습니다.

영화 속 얘기 아냐…금융사 직원, 딥페이크에 속아 340억원 송금 | 연합뉴스

그놈 목소리는 '나'였다…딥보이스로 진화하는 보이스피싱 | 연합뉴스

문제 정의

최근 기술의 발전으로 대형 언어 모델(LLM)을 이용해 자동으로 자연스러운 대화를 생성하고, 피해자의 음성을 딥페이크 기술로 합성하여 더욱 실제에 가까운 가짜 음성을 만들어낼 수 있게 되었습니다.

이러한 기술을 보이스피싱에 악용하면, 공격자가 더 많은 피해자를 교묘하게 속일 수 있게 됩니다.

저희는 향후 보이스피싱 범죄가 이러한 방식으로 자동화될 가능성이 높다고 예상하고 있으며, 이를 효과적으로 차단하기 위해 두 가지 연구 방향을 설정했습니다.

첫 번째 트랙에서는 가짜 음성, 즉 **딥페이크 오디오를 실시간으로 탐지**하는 데 중점을 두었습니다.

두 번째 트랙에서는 **통화 내용을 분석**하여 보이스피싱을 탐지하고, 이를 바탕으로 사전에 차단하는 방법을 연구했습니다.

본 프로젝트에서는 딥페이크 탐지와 통화 내용 기반 탐지라는 두 트랙을 통해 다양한 형태의 보이스피싱 시도에 대응하고, 피해를 줄일 수 있는 방안을 모색하는 것을 목표로 하고 있습니다.

첫 번째 트랙: 한국어 딥페이크 오디오 탐지

I. 연구 배경

영어를 중심으로 한 딥페이크 오디오 탐지 연구가 활발히 진행되고 있으며, 높은 탐지 성능을 보입니다.

그러나 한국어 음성에 대한 탐지 성능은 현저히 낮아, 언어 특성 차이와 데이터 부족으로 인해 한국어 딥페이크 탐지가 더 어려운 상황입니다.

II. 연구 목표

한국어 딥페이크 오디오를 효과적으로 탐지하기 위해 두 가지 핵심 목표를 설정했습니다.

1. KoDFA (Korean Deep Fake Audio) 데이터셋 구축

   t-SNE 분석 결과, 한국어와 영어 음성은 매우 다른 특성을 가짐을 확인했습니다.

   50만 개 규모의 KoDFA 데이터셋을 구축하여 한국어 딥페이크 탐지 성능을 높이는 데 사용했습니다.

2. Dual-KoRAD 모델 개발

   RAD 모델의 성능을 기반으로, 이를 개선한 Dual-KoRAD 모델을 제안했습니다.

   EER(Equal Error Rate) 지표로 기존 SOTA 모델들과 성능을 비교하였으며, KODFA 데이터셋을 통해 성능을 검증했습니다.

III. 데이터셋 구축 [KoDFA (Korean Deep Fake Audio) Dataset]

KoDFA는 약 50만 개의 한국어 딥페이크 오디오와 원본 오디오로 구축하였습니다.

다양한 합성기로 생성한 학습 데이터와 평가 데이터로 구성하여 최신 딥페이크 기술에 대한 일반화 성능을 확보하고자 했습니다.

특히, 모델의 일반화 성능을 정확히 평가하기 위해 기존 ASVSpoof 데이터셋 방식에 따라 4개의 합성기로 학습 데이터를 생성하고, 다른 4개의 합성기로 평가 데이터를 구축하여

학습되지 않은 합성 기술에 대한 탐지 성능을 측정할 수 있도록 했습니다.

데이터 생성 절차는 아래와 같습니다.

1.음성 합성 Source Data 수집

다양한 연령대, 성별, 감정, 그리고 소음 환경에서 녹음된 음성 데이터를 AI Hub에서 수집하여, 딥페이크 음성 생성을 위한 기본 데이터로 활용했습니다.

2. 딥페이크 오디오 생성

딥페이크 오디오는 다음 세 가지 방법으로 생성했습니다:

(a) Text-to-Speech (TTS) : 텍스트를 음성으로 변환

(b) Voice Conversion (VC) : 기존 음성을 다른 사람의 음성으로 변환

(c) TTS + Voice Conversion : 두 기법을 결합하여 보다 자연스러운 음성 생성

IV. 데이터 검증

KoDFA 데이터의 품질을 검증하기 위해, 정성적 평가와 정량적 평가를 실시하였습니다.

- 정성적 평가

58명의 일반인을 대상으로 설문조사를 진행하여, 생성된 딥페이크 오디오가 실제 음성과 얼마나 유사한지 평가했습니다.

응답자의 약 40%가 딥페이크 오디오와 실제 음성을 구분하는 데 어려움을 느꼈으며, 대다수가 원본과 높은 유사성을 보였다고 평가했습니다.

- 정량적 평가

딥페이크 오디오의 자연스러움, 내용 전달력, 음색 유사도를 객관적으로 평가하였습니다.

(a) 자연스러움 (Frechet DeepSpeech Distance)

Frechet DeepSpeech Distance는 딥페이크 오디오와 실제 발화 사이의 분포 차이를 측정하는 지표로, 값이 낮을수록 두 분포가 유사하다는 의미입니다.

즉, 값이 낮을수록 딥페이크 오디오가 실제 발화와 같이 더 자연스럽게 들린다는 것으로 해석할 수 있습니다.

Voice Conversion(VC) 방식이 TTS 방식보다 더 높은 자연스러움을 보였습니다.

(b) 내용 전달력 (CER - Character Error Rate)

Whisper 모델을 통해 딥페이크 오디오를 전사하여 원본 텍스트와의 차이를 계산했으며, 값이 낮을수록 내용 전달력이 높음을 나타냅니다.

TTS 방식의 딥페이크 오디오가 상대적으로 높은 내용 전달력을 보여주었습니다.

이는 각 기술의 특성에서 기인하는데, TTS는 텍스트를 직접 음성으로 변환하기 때문에 정확한 발음이 가능하지만 다소 기계적인 소리가 날 수 있습니다.

반면 VC는 실제 목소리를 변조하기 때문에 자연스러운 음성을 생성할 수 있지만, 발음이 다소 불명확할 수 있습니다.

(c) 음색 유사도 (MFCC Cosine Similarity, Mel-Spectrogram Similarity)

MFCC와 Mel-Spectrogram의 코사인 유사도를 측정하여, 딥페이크 오디오와 실제 발화의 음색 유사도를 평가했습니다. 값이 높을수록 음색이 유사함을 의미합니다.

독립 t-검정을 통해 XTTS와 FreeVC 모두 실제 발화 쌍들의 유사도와 유의미한 차이가 없음을 확인했습니다.

이는 현재 음성 합성 기술이 음색 측면에서 이미 실제 목소리와 구분하기 어려운 수준에 도달했음을 시사합니다.

V. 성능 향상을 위한 모델 개발 [Dual-KoRAD]

기존 SOTA 모델의 성능 평가 (KoDFA)

한국어 딥페이크 오디오 탐지 성능을 평가하기 위해 AASIST, HM-Conformer, RAD 세 가지 SOTA 모델을 KoDFA 데이터셋에서 테스트했습니다.

RAD 모델이 가장 낮은 EER(Equal Error Rate)을 기록하며 가장 우수한 성능을 보였습니다.

RAD 모델은 일반 발화 데이터에서 입력 오디오와 유사한 샘플을 활용하여 추가 학습 없이도 새로운 데이터에 대해 탐지 성능을 유지할 수 있다는 강점이 있습니다.

탐지 성능 향상을 위한 Dual-KoRAD 모델 제안

RAD 모델의 성능을 더욱 향상시키기 위해, 저희는 Dual-KoRAD 모델을 새롭게 제안했습니다.

[기존 RAD 모델 구조]

RAD 모델은 오디오 피처 추출기를 통해 임베딩을 생성하고, 탐지 모델에 입력으로 사용합니다.

이때, 일반 발화 데이터베이스에서 입력 오디오와 유사한 k개의 샘플을 찾아 임베딩 간 차이를 계산하여 추가적인 정보로 활용합니다.

이를 통해, 새로운 데이터에 대한 추가 학습 없이도 탐지가 가능한 점이 RAD 모델의 특징입니다.

[분류 모델 경량화]

이때 기존 RAD의 Detection Model (MFA)은 WavLM의 모든 레이어별 임베딩 결과를 참조하여 유사 샘플과의 피처 차이를 계산하기 때문에, 복잡하고 시간이 오래 걸리는 단점이 있습니다.

저희는 이러한 복잡성을 줄이고, 데이터 참조 성능을 중점적으로 평가하기 위해 유사도 기반의 이진 분류 모델로 경량화했습니다.

[Dual-KoRAD]

기존 RAD 모델의 성능을 더욱 향상시키기 위해 Dual-KoRAD에서는 다음과 같은 두 가지 개선 방안을 도입했습니다.

(a) 한국어 특화 피처 추출기

한국어 데이터에 더 적합한 Korean HuBERT를 피처 추출기로 사용하여, 한국어 딥페이크 탐지에서 더욱 높은 성능을 기대할 수 있도록 했습니다.

(b) 이중화된 데이터베이스

기존 RAD 모델은 일반 발화 오디오만 참조했으나, Dual-KoRAD는 일반 발화와 딥페이크(Fake) 데이터 모두를 참조해 양쪽의 유사도를 비교합니다.

이를 통해 탐지 모델이 더욱 다양한 상황에서 유연하게 작동할 수 있도록 개선했습니다.

VI. 모델 성능 평가 결과

기존 RAD 모델에 두 가지 개선 사항을 단계적으로 추가하여 성능을 평가했습니다.

1. 한국어 특화 피처 추출기 (Korean HuBERT) 적용

   기존 WavLM 기반 RAD 모델(EER 41.516%)에 Korean HuBERT를 피처 추출기로 사용한 Ko-RAD 모델을 도입한 결과, EER이 **26.661%**로 개선되며 기존 RAD 모델 대비 약 14.9% 성능이 향상되었습니다.

2. 이중화된 데이터베이스(Dual DB) 적용

   Ko-RAD 모델에 일반 발화와 딥페이크(Fake) 데이터 모두를 참조하는 이중화 데이터베이스를 추가로 적용한 Dual-RAD 모델은 EER이 **31.358%**로, 기존 RAD 모델보다 10.158% 더 높은 탐지 성능을 보였습니다.

최종적으로, 두 개선 사항을 모두 반영한 Dual Ko-RAD 모델은 **17.812%**의 EER을 기록하며, 기존 RAD 모델 대비 23.7% 포인트 성능 향상을 보였습니다.

또한, Dual Ko-RAD 모델은 기존 SOTA 모델인 AASIST(26.886%)와 HM-Conformer(19.558%)보다도 더 우수한 성능을 보였습니다. 즉, **한국어 딥페이크 탐지에서 가장 우수한 성능**을 제공함을 확인할 수 있었습니다.

두 번째 트랙: 통화 내용 기반 보이스피싱 탐지

I. 연구 배경

기존 보이스피싱 탐지 모델은 "검찰청입니다", "계좌가 도용됐습니다"와 같은 전형적인 패턴을 비교적 잘 탐지합니다.

그러나 보이스피싱 수법이 점점 교묘해지면서, 전형적인 패턴을 벗어나 보다 자연스러운 대화나 새로운 접근 방식을 사용하는 보이스피싱에 대해서는 탐지가 제대로 이루어지지 않는 한계를 보입니다.

II. 연구 목표

교묘해진 보이스피싱 수법을 효과적으로 탐지하기 위해 두 가지 핵심 목표를 설정했습니다.

1. KorCCVi 데이터셋 확장

   기존 KorCCVi 데이터셋의 보이스피싱 데이터가 부족하고, 일반 대화는 일상적인 주제로만 구성되어 있어 금융 상담을 오탐지하는 문제가 있었습니다.

   이를 해결하기 위해 금융·보험 상담 데이터를 추가하고, 최신 LLM을 활용해 고품질 데이터를 생성하여 데이터셋을 보강했습니다.

   
   

2. Global Context + RAD + LLM을 통한 탐지 성능 향상

   (a) Global Context 도입 : 대화의 전체 맥락을 반영하여 탐지 성능을 높이기 위해 이전 대화 내용을 가중평균하여 현재 탐지에 반영했습니다.

   (b) RAD 기법 적용 : 최신 보이스피싱 사례 데이터베이스에서 유사 샘플을 참조해 끊임없이 진화하는 보이스피싱 패턴을 탐지할 수 있도록 했습니다.

   (c) 전문가 LLM 도입 : 탐지 근거를 명확히 제시하고, 기존 모델이 놓칠 수 있는 부분을 보완하는 이중 검증 체계를 구축했습니다.

   
   

   
   

III. 데이터셋 확장 및 구축 [Expanded_KorCCVi / Additional Evaluation Dataset]

데이터셋은 두 가지로 구축하여 모델 학습 및 평가, 추가 평가에 활용했습니다.

Expanded_KorCCVi

데이터 불균형 문제를 해결하기 위해 LLM을 활용해 2000건의 보이스피싱 데이터를 생성했습니다.

또한, 일반 대화 데이터에 AI Hub의 금융·보험 상담 대화를 추가하여 다양한 대화 주제를 포함하도록 확장했습니다.

Additional Evaluation Dataset

최신 사례를 반영하여 새로운 유형의 보이스피싱 통화 스크립트와 보이스피싱과 유사한 일반 통화 스크립트를 각각 143건씩 생성했습니다.

보다 챌린징한 데이터를 평가에 활용해 학습하지 않은 새로운 상황에 대한 탐지 성능을 평가하고자 했습니다.

데이터 생성 절차는 아래와 같습니다.

1. Source Data 수집

KorCCVi 데이터셋, AI Hub의 금융 상담 통화 데이터, 금융감독원의 보이스피싱 사례 데이터를 수집하여 통화 스크립트 생성을 위한 문맥 데이터로 활용했습니다.

2. 통화 스크립트 생성

데이터 생성은 다음 두 가지 목표를 기반으로 이루어졌습니다.

첫 번째, 최신 보이스피싱 수법 반영

두 번째, 보이스피싱과 일반 통화 간 경계선상에 있는 데이터 확보

고품질 데이터 생성을 위해 순환적 생성 프로세스를 구축했습니다. 보이스피싱 문맥 데이터에 적절한 시스템 프롬프트를 설계한 후, 데이터를 생성하고 품질을 검증했습니다.

어색한 표현이나 부자연스러운 맥락을 개선하는 과정을 반복하여 데이터의 정확성과 자연스러움을 높였습니다.

IV. 데이터 검증

데이터의 품질을 평가하기 위해 자연스러움, 탐지의 어려움, 다양성 세 가지 측면에서 정량적 평가를 실시하였습니다.

(a) 자연스러움 (MAUVE Score)

MAUVE Score는 실제 사람이 작성한 텍스트와 AI가 생성한 텍스트 간의 유사도를 측정하는 지표로, 값이 높을수록 두 텍스트 간의 유사도가 높음을 의미합니다.

즉, 값이 높을수록 생성된 통화 스크립트가 실제 통화 스크립트처럼 자연스럽다는 것으로 해석할 수 있습니다.

0.9 이상: 매우 유사한 분포, 0.8 이상: 유사한 분포, 0.8 미만: 상이한 분포

생성된 통화 스크립트의 MAUVE Score는 0.8 이상으로, 실제 통화 스크립트와 유사한 분포를 보임을 확인했습니다.

(b) 탐지의 어려움 (Class Separability Score)

Class Separability Score는 생성된 통화 스크립트가 보이스피싱과 일반 대화 사이에서 얼마나 구분되기 어려운지를 평가하는 지표입니다.

생성된 데이터와 보이스피싱, 일반 대화 각각의 클래스 중심 간의 평균 거리를 계산하여, 생성된 데이터가 두 클래스 중심에 얼마나 가깝거나 먼지를 평가합니다.

아래의 그래프에서 초록색은 생성된 데이터, 파란색은 기존 보이스피싱 데이터, 노란색은 일반 대화를 나타냅니다.

생성된 데이터가 보이스피싱과 일반 대화의 중간 영역에 고르게 분포하고 있어, 구분하기 어려운 경계선상의 데이터가 성공적으로 생성되었음을 보여줍니다.

(c) 다양성 (Self-BLEU, Compression Ratio)

Self-BLEU와 Compression Ratio는 생성된 텍스트의 중복성을 평가하는 지표로, 값이 낮을수록 텍스트의 중복성이 적고 다양성이 높음을 의미합니다.

생성된 데이터의 BLEU 점수는 0.3~0.5로 약간 높은 중복성을 보였지만, Compression Ratio는 실제 데이터와 유사한 수준을 보여

전반적으로 충분한 텍스트 다양성을 확보했음을 확인할 수 있었습니다.

V. 성능 향상을 위한 모델 개발

기존 실시간 탐지 모델 구조

보이스피싱 여부를 실시간으로 탐지하기 위해, 기존 모델은 통화 내용을 실시간으로 전사하여 문장 단위로 나눈 후 이를 일정 묶음으로 구성하여 활용하는 방식 (Sentence N-Gram)을 사용합니다.

이는 가장 최근 n개의 문장만을 보기 때문에 **전체 통화의 맥락을 놓칠 수 있다**는 중요한 한계를 가지고 있습니다.

탐지 성능 향상을 위한 모델 제안

보이스피싱 탐지 성능을 향상시키기 위해, 기존 모델의 한계를 보완하고 다양한 기법을 통합한 새로운 모델을 제안했습니다.

[Global Context]

Global Context는 이전 통화 내용들을 가중평균하여 계산한 결과로, 이를 현재 탐지에 반영함으로써 대화의 전체적인 문맥을 고려할 수 있도록 했습니다.

[RAD (검색 증강 탐지) 기법을 도입]

RAD는 오디오 트랙에서 적용된 검색 증강 탐지 개념을 텍스트 도메인에 맞게 변형한 기법으로, 최신 보이스피싱 패턴에 대응할 수 있는 유연성을 제공합니다.

텍스트 임베딩을 활용하여 최신 보이스피싱 사례 데이터베이스에서 유사한 샘플을 검색하고 이를 탐지에 반영합니다.

[전문가 LLM]

LLM을 보이스피싱 분석 전문가로 활용하여 **모델의 판단 근거를 사용자에게 명확하게 제시**하고 머신러닝 모델이 놓칠 수 있는 부분까지 **이중으로 탐지**하는 체계를 구축했습니다.

전문가 수준의 Domain Expert LLM을 위해, 대검찰청 소속 전문가의 자문을 통해 체계적인 보이스피싱 분석 기준을 수립하고 각 기준의 우선순위를 명확히 정했습니다.

VI. 모델 성능 평가 결과

Expanded KorCCV

1. Global Context 도입

   F1 Score가 0.9013에서 0.9808로 8.8% 상승하는 등 모든 지표에서 성능이 크게 향상되었습니다. 이는 통화의 전체 맥락을 반영하여 탐지 성능을 크게 개선할 수 있음을 보여줍니다.

2. RAD 기법 적용

   RAD 기법만 단독 적용했을 경우에는 성능이 소폭 하락했으며, Global Context와 RAD를 함께 적용한 경우 F1 Score는 0.9735로, RAD 단독 사용보다는 성능이 개선되었지만,

   Global Context 단독 사용 시보다는 다소 낮은 성능을 보였습니다.

3. Domain Expert LLM

   F1 Score가 3.9% 상승하며 Base 모델보다 높은 성능을 보였습니다.

Additional Evaluation Dataset

1. Global Context 도입

   F1 Score가 0.6540에서 0.6577로 0.57% 소폭 향상되었습니다. 이는 추가 평가 데이터에서는 성능 향상이 제한적임을 나타냅니다.

2. RAD 기법 적용

   RAD 기법을 단독으로 적용한 경우 F1 Score는 0.6541로 Base와 유사하게** 미미한 성능 변화**를 보였습니다.

   Global Context와 RAD를 함께 적용한 경우 F1 Score는 0.6611로 약간 상승했지만, 여전히 큰 차이는 보이지 않았습니다.

3. Domain Expert LLM

   다른 모든 모델 구성 대비 **월등히 높은 성능**을 보였습니다.

   이는 새로운 유형의 보이스피싱이 포함된 데이터셋에서 기존 머신러닝 기반 접근법의 한계를 보완하고, 더욱 높은 탐지 성능을 제공할 수 있음을 시사합니다.

   
   

   
   

결론

첫 번째 트랙: 딥페이크 오디오 탐지

한국어 딥페이크 오디오 탐지를 위해 KoDFA 데이터셋을 구축하고, Dual Ko-RAD 모델을 개발했습니다.

이중화된 데이터베이스를 활용한 Dual Ko-RAD 모델은 기존 RAD 및 SOTA 모델 대비 뛰어난 성능을 보이며, 한국어 환경에서의 딥페이크 오디오 탐지 가능성을 크게 확장했습니다.

두 번째 트랙: 통화 내용 기반 보이스피싱 탐지

모델 성능 향상을 위해 KorCCVi 데이터셋을 확장하고, 추가 평가 데이터셋을 구축했습니다.

Global Context, RAD 기법, Domain Expert LLM을 도입하여 보이스피싱 탐지 성능을 높였으며,

특히 Global Context는 전체 통화 맥락을 반영해 성능을 개선했고, Domain Expert LLM은 새로운 유형의 보이스피싱 탐지에 강점을 보였습니다.

다만, RAD 기법 단독 적용 시 성능 향상이 제한적이었는데, 이는 RAD 데이터베이스가 통화 스크립트 단위로만 라벨링되어 문장 단위의 세부 맥락을 반영하지 못한 결과로 분석됩니다.

향후 문장 단위 라벨링을 통해 노이즈를 줄임으로써 RAD 기법의 탐지 성능을 더욱 향상시킬 수 있을 것으로 기대됩니다.

마치며

마지막으로 저희 프로젝트의 의의와 기여에 대해 정리하며 마치겠습니다.

1. 데이터셋 검토와 분석, 그리고 다양한 모델 벤치마킹 실험을 통해 기존 연구의 한계를 분석하고 개선 방향을 도출하였습니다.

2. 딥페이크 오디오와 보이스피싱 시나리오라는 두 가지 새로운 데이터셋을 구축함으로써, 향후 보이스피싱 탐지 연구의 중요한 기반을 마련했습니다.

3. 2024년도 한국인터넷정보학회 추계 학술대회에 논문을 게재하며 연구의 학술적 가치를 인정받았습니다.

   • 한국어 데이터셋 기반 딥페이크 오디오 탐지모델 성능 평가

   • 대화 특성 분석 및 LLM 기반 시나리오 증강을 통한 보이스피싱 탐지 모델 성능 개선 연구

     
     

이번 프로젝트를 통해 멘토님의 귀중한 지도와 조언으로 한층 더 성장할 수 있었습니다.

여동기, 한상현, 윤나은 멘토님을 비롯해 좋은 기회를 만들어주신 SKT AI Fellowship 관계자분들께 진심으로 감사의 마음을 전합니다.

지금까지 피싱피싱(Phishing Fishing)이었습니다. 감사합니다. 😊