DEVOCEAN

AI 예측 서비스란 무엇인가요?

에이닷 전화는 이미 통화 요약, 상세 요약, 통화 유형 분류, 할 일 추출, 주요한 키워드 추출 등 다양한 AI 기능을 통해 사용자에게 풍부한 경험을 제공하고 있습니다.

이제는 에이닷 전화에 AI가 붙는 것이 더 이상 신기하지 않을 정도로 자연스러워졌습니다.

오늘 소개해 드릴 기능과 LLM모델은 미저장 연락처 관계 추정 서비스로 통화 상대방이 나와 어떤 관계인지 예측하여 사용자에게 노출해주는 서비스 입니다.

왜 필요할까요?

모르는 번호로 전화가 왔는데 이 전화를 받을까? 말까? 고민한 경험이 있으실거에요.

전날 통화한 '직장동료'였는지, 어제 이사갈 집 계약을 논의했던 '부동산 사장님'이었는지,

사용자가 받을 필요가 있는 전화인지 쉽게 판단하는 방법으로 관계를 예측하여 태그를 붙여준다면 우리의 고민 시간을 줄여줄 수 있어요.

예측의 성능이 왜 중요할까요?

AI 기능이 사용자에게 진정한 가치를 제공하려면, 단순한 자동화나 요약을 넘어 정확하고 신뢰할 수 있는 결과를 전달해야 합니다.

특히 관계 예측과 같이 사용자 통화 맥락을 다루는 기능은 예측이 틀렸을 때의 영향이 단순한 오류에 그치지 않습니다.

예를 들어, 통화 내용에서 '지인과의 약속'을 언급했음에도 불구하고, 모델이 단순히 호칭을 근거로 그 인물을 배우자로 잘못 분류한다면?

사용자는 이 서비스를 신뢰하지 않을 뿐 아니라, 예측 결과 자체를 불쾌하게 느낄 수도 있습니다.

관계 예측이라는 기능은 단순히 ‘누구일 것 같다’를 넘어서, 사용자의 실제 생활과 감정을 건드릴 수 있는 민감한 정보입니다.

그렇기 때문에 모델이 최대한 정확하게 예측할 수 있도록, 단순한 규칙이나 단편적 문맥에 의존하지 않고, 요약 데이터들을 통합적으로 고려할 수 있도록 설계했습니다.

3박자 : 기획, 데이터, 모델링

PART 1 기획

정확도와 정보 전달력을 개선하기 위해 세 가지 주요 챌린지를 해결해야 했습니다.

1. 다양한 관계명 커버하기

2. 사용자-상대방 쌍바뀜 문제

3. 민감관계 정확도 향상

   
   

1) 다양한 관계명 커버하기

첫 번째 과제는 현실 세계에서 사용되는 관계 표현의 다양성이었습니다. 수집한 데이터에는 2.7만 개 이상의 고유한 관계명이 존재했으며,

이는 단순한 다중 분류(Multi-class classification) 문제로 해결하기엔 한계가 있었습니다.

관계명을 직접 생성해야 하는 생성형 문제는, 모델이 처음 보는 관계명도 유추해야 하므로 표현력과 일반화 능력 모두가 요구되는 고난이도 문제였습니다.

즉, 모델은 관계명을 예측하는 것이 아니라, 언제든 새롭게 등장할 수 있는 표현을 "지어내야" 하는 것이죠. 다양하고 섬세한 관계명 표현을 생성하기 위한 설계가 첫 번째 도전이었습니다.

• 다양한 종류의 관계명 예시 (상위 210위~237위 샘플)

  
  

  
  

2) 사용자-상대방 쌍바뀜 문제

두 번째는 사용자와 상대방 간 역할 혼동 문제였습니다.

통화요약은 대화를 한 쌍으로 요약하기 때문에, “엄마와 아들의 대화”는 맞더라도,사용자가 엄마인지, 아들인지 구분하기가 어렵습니다.

이는 실제 사용자로부터 혼란을 야기하거나, AI가 ‘내가 엄마인데 상대가 엄마인 것처럼’ 잘못 판단하는 쌍바뀜 오류로 이어질 수 있습니다.

즉, 단순한 문맥 해석을 넘어 요약 정보를 통해 '나'와 '상대방'을 추론하는 논리적 장치가 필요했습니다.

3) 민감관계 정확도 향상

마지막으로, 직장동료와의 통화를 연인과의 통화로 오인하는 등의 민감관계 오추정은 서비스 신뢰도에 직접적인 영향을 미칩니다.

특히 낮은 친밀도의 관계를 높은 친밀도로 오추정하는 경우는 불쾌함과 오해를 유발할 수 있으며, 실제 VOC로 이어지는 사례도 있었습니다.

따라서 이러한 민감관계에 대한 별도 정밀 추론 로직과 보수적 태깅 전략 등을 도입해 안정적인 사용자 경험을 우선시하는 방향으로 모델을 고도화를 기획했습니다.

PART 2 학습데이터

1) 데이터 생성

좋은 모델을 만들기 위해서는 태스크에 적합한 고품질 데이터가 필수입니다.

1.주체성 힌트 활용

관계 추정 모델을 예측하기 위해, 통화 관련 데이터를 input으로, 관계명을 label로 설정하여 학습을 진행했습니다.

이번 고도화 과정에서는 특히 '쌍바뀜 문제'를 해결하기 위해 ‘나’를 유추할 수 있는 보조 feature들을 설계하고, 특히 할일 정보 등에서 주체성 힌트를 추가로 확보했습니다.

또한, 상대방을 부르는 호칭이나 발언 주체를 요약에 명시하는 등의 방법을 테스트했고, 그 중에서도 나와 상대방이 구분 될 수 있는 feature를 활용하였습니다.

예를 들어, 사용자의 할 일이 "매물 정보 문자로 넣어주기"인 경우, 사용자는 ‘부동산 중개인’일 가능성이 높고 상대방은 ‘고객’일 확률이 높습니다.

이처럼 요약 단계에서 드러나지 않는 사용자/상대방의 역할 구분을 할일을 통해 보완하고자 했습니다.

2.추론형 모델 활용한 GT생성

이렇게 발굴한 정보를 바탕으로 고지능 추론형 LLM을 활용해 정확한 관계 정답지를 생성했습니다.

비추론형 모델과 비교했을 때, 추론형 LLM은 관계를 맥락적으로 해석하고 추론하는 능력이 뛰어나며, 이를 통해 생성된 Ground Truth(GT) 데이터는 질적으로 우수했습니다.

또한, 기획 의도에 따라 정교하게 설계된 프롬프트를 통해 더 정밀한 관계명을 생성할 수 있었고, 이는 모델의 예측 정확도 향상에 기여했습니다.

2) 데이터 정제

데이터 imbalance 문제를 해결하기 위해 '친구'나 '직장동료'와 같은 상위 3개 관계명이 전체 데이터의 약 30%를 차지하는 편향성을 보여줬기 때문에

해당 관계명들의 데이터를 4위 수준과 비슷하게 임의로 줄여 모델의 bias를 감소시켰습니다.

반면, 롱테일(long tail)에 해당하는 다양한 관계명들은 그대로 유지하여 모델이 폭넓은 관계명을 학습할 수 있도록 했습니다.

3) 데이터 품질평가

학습 전에 데이터 품질 확보를 위해 상위 빈도 관계명을 중심으로 전문가 평가단의 리뷰를 진행했습니다.

정답 관계명이 실제 맥락과 부합하는지, 오해의 소지는 없는지, 정보 전달력이 충분한지를 다각도로 점검했습니다.

전문가 평가시에 정확도와 구체성을 평가 지표를 정의하고 이번 고도화 과제에서 해결하고자 하는 부분에 집중하여 평가가 진행됐습니다.

이를 통해 최종적으로 신뢰할 수 있는 학습을 위한 데이터를 준비할 수 있었습니다.

PART 3 모델 학습

1) 대형 모델 PEFT 및 LoRA 학습

정답지 생성 단계에서도 추론형 모델이 정답을 잘 생성하는 것에서 파악했던 것처럼,

관계명은 label이 짧아서 간단해 보이는 것에 비해 통화의 맥락을 정확히 파악해야하고 관계에 대한 사전지식이 충분히 필요한 추론의 난이도가 높은 task입니다.

따라서 고지능의 학습 모델이 필수적이라고 판단하였고, SKT 자체 foundation모델인 A.X 모델을 선택하여 학습시켰습니다.

기존 모델이 가진 방대한 언어지식을 최대한 효율적으로 활용하기 위해 LoRA와 PEFT 기법을 적용하여서 full fine-tuning에 비해 학습 시간도 단축하면서 효과적인 fine-tuning을 진행했습니다.

또한, 관계명 token은 2-3 토큰에 불과했기 때문에 label의 길이가 짧아 모델의 전체 parameter를 충분히 학습하기에는 부족하다고 판단하였습니다.

label부분만 학습해서는 back propagation으로 통화 데이터와 관계명 간의 관계를 익히기 어려웠는데,

이를 극복하기 위해 CPT(Continuous Pre-Training) 방식처럼 모든 데이터를 전부 학습 및 생성하는 것을 반복함으로써 모델이 데이터에 더욱 익숙해질 수 있게 했습니다.

적은 데이터로도 더 많은 토큰을 효율적으로 학습할 수 있는 환경을 구축하여 짧은 label을 정확히 예측하는 방향으로 설계하였습니다.

2) 모델 검증

일반적으로 언어 task에 활용하는 다양한 평가 방식이 있습니다.

Exact matching, embedding similarity, BLEU score와 같은 평가방식은 관계추정의 성능을 정확히 측정하는 것이 쉽지 않았습니다.

'엄마'와 '어머니'는 동일한 의미를 가졌지만 다른 표현을 가지고 있고, '통신사 고객센터'와 '상담원'은 표현도 다르고 뜻도 다소 다르지만, 둘 다 맞는 관계일 수 있기 때문입니다.

이러한 관계추정 task의 특성때문에 두가지 방식의 평가를 진행했습니다. 바로 LLM 평가와 전문가 평가입니다.

1.LLM 평가

첫번째로 LLM 평가는 NLG 평가에 주로 사용하는 G-eval에 착안하여, 

GPT에게 정답과 모델의 예측 결과를 주고 맞았는지 틀렸는지 물어봄으로써 accuracy를 측정하는 방식을 도입했습니다.

이를 통해 다양한 버전으로 학습한 모델들 중 어떤 모델이 가장 적합한지 정하는 기준을 세울 수 있었습니다.

다양한 학습 모델과 파라미터들을 LLM evaluation을 통해 상위 점수를 얻은 학습 모델들을 선정하였습니다.

기존모델 대비 성능이 개선됨을 확인하고, GPT 4.1 mini 를 통해 예측한 관계보다 학습한 고도화 모델의 경우 9% 이상의 개선 정도를 확인할 수 있었습니다.

2.전문가 평가

LLM 평가를 통해 최종 학습 모델과 기존 상용 모델을 가지고 전문가 평가를 통해 2차 평가를 진행했습니다.

전문가 평가자의 평가는 비용과 시간이 많이 요구되지만 기획 의도를 가장 정확하게 반영할 수 있는 평가방법이기 때문에 모델 결과 신뢰성을 뒷받침합니다.

미저장연락처에서 최빈 50위 관계명을 중점적으로, 5가지 평가기준을 통해 평가를 진행했습니다.

평가 기준으로는 정확성, 관계 정합성, 적절성, 유저 친화성, 정보 제공성 등 5가지 주요 기준을 설정하여 평가했습니다.

이를 통해 명칭의 정확성과 맥락 일치 여부, 직관성과 용건 파악 능력을 종합적으로 평가하여, 모델 성능을 정교하게 검증하였습니다.

기존 모델의 정확도 73.5점에서 고도화 모델의 정확도 83.3점으로 13%이상의 성능 개선을 확인했습니다.

마무리

미저장 연락처 관계 추정 기능의 고도화를 성공적으로 완수하기 위해서는,

정밀한 기획 분석, 정제된 고품질 학습 데이터, 그리고 고성능 LLM 기반 모델링 전략 3박자가 유기적으로 작동해야 했습니다.

이번 프로젝트에서는 이 세 가지 핵심 요소를 균형 있게 설계하고 실행함으로써, 정확도와 신뢰도 모두에서 의미 있는 품질 개선을 할 수 있었습니다.

에이닷 전화는 정확한 관계 예측을 통해, 상대방과의 관계에 맞는 적절한 대화 팁이나 중요한 통화 리마인드 기능 등 고도화되 서비스를 확장할 계획입니다.

사용자를 더 깊이 이해하고, 그에 맞는 경험을 제공하는 AI 기반 맞춤형 전화 에이전트로 계속 진화해 나가고 있으니, 앞으로의 에이닷 전화 서비스도 기대해 주세요!