로그인 선택
미리보기
커뮤니티
23.06.15
글 등록
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
TelBench : Telco 서비스향 LLM 성능측정을 위한 벤치마크 개발 및 평가
- DEVOTEE 요약
- 이 글은 SK텔레콤에서 통신 분야에 특화된 대규모 언어 모델(Telco LLM)의 학습 데이터 설계(TelTask, TelInstruct), 성능 검증 및 평가 과정을 소개합니다. 데이터 전문가와 언어학자, 엔지니어 협업을 통해 통신 분야의 전문성을 강화하고, 고객 센터 상담사를 통한 실질적 평가와 LLM-as-a-judge 개발 등의 시도도 언급됩니다. 이를 통해 통신 산업에서 보다 정확하고 유용한 AI 솔루션을 제공하기 위한 기반(TelBench)을 구축하는 과정을 설명합니다.
통신 분야에 특화된 Telco LLM의 데이터 설계, 구축, 그리고 평가 과정에 대해 공유합니다.
우선, LLM이 통신 분야의 용어와 지식, 비즈니스 맥락을 이해할 수 있도록 설계한 학습 데이터인 TelTask와 TelInstruct를 소개할 예정입니다.
이어서, 이 데이터로 학습된 Telco LLM의 검증을 위해 진행한 벤치마킹 과정과 결과에 대해 설명하고, 데이터 전문가인 언어학자와 엔지니어의 협업 시너지, 고객 센터 상담사를 통한 인간의 전문적인 평가, 그리고 통신 특화 LLM-as-a-judge 개발 경험 등 기술적인 시도를 해 나가는 과정도 함께 다룰 것입니다.
통신 산업 내에서 대규모 언어 모델의 가능성을 확인하고, 보다 정확하고 유용한 솔루션을 제공하는 데에 기반이 될 TelBench에 대해 들어보세요!
이선우SK텔레콤
SK텔레콤의 Data구축/평가팀 팀장으로서, 언어 모델을 위한 학습데이터 설계 및 구축, 모델 성능 평가 과정, 서비스 적용을 리딩하고 있습니다.
한국어 교육을 전공한 Linguist로서, IT 분야 NLP 업무를 통해 성장해 왔습니다.
때로는 인문학적인 호기심으로 데이터를 찬찬히 들여다보며 유의미한 것들을 찾아내지만, 때로는 개발 조직의 입장에서 모든 과정을 자동화하고 싶어하기도 합니다.
언어 모델 학습을 위한 데이터는 어떻게 설계되어야 할지, 언어 모델의 성능을 검증하기 위해서는 어떤 과제들을 도입하고 어떤 방법을 적용해야 할지,
AI가 참여하는 대화는 어떤 모습인지 등등, 동료들과 함께 여전히 흥미로운 문제들을 연구하고 풀어 나가고 있습니다.
DevRel 님의 최신 블로그
더보기-
- [전문가 밋업#3] 금융 AI의 진화: 컨텍스트 설계와 에이전트 아키텍처 (은행 AI 전문가가 밝힌, 아무도 말해주지 않는 3가지 진실)
- 요약 금융 산업의 인공지능(AI) 패러다임이 생성형 AI의 등장으로 근본적인 전환을 맞이하고 있습니다. 과거의 AI가 RPA(로봇 프로세스 자동화)나 예측 모델을 통해 개별 업무를 자동화하는 ＇조각난 효율성＇에 머물렀다면, 현재는 고객의 언어를 이해하고 데이터의 ＇의미＇를 연결하여 의사결정을 보조하는 단계로 진화하고 있습니다. 이러한 변화의 핵심은 AI를 단순히 도입하는 것을 넘어, 비즈니스 목표에 맞는 ＇컨텍스트(문맥)＇를 어떻게 설계하고 활용하느냐에 있습니다. 금융권의 미래 경쟁력은 복잡하고 사일로화된 데이터로부터 의미 있는 관계망을 구축하는 ＇컨텍스트 플로우＇ 설계 능력에 달려 있습니다. 이를 위해 고객, 상품, 리스크, 영업, 시장이라는 5가지 핵심 컨텍스...
-
- 제9회 데보션 테크 데이 - AI와 함께 일하는 시대, 에이전트와 자동화 기술 발표 요약 및 영상 공유
- 지난 9월 1일 월요일에 SKT타워 4층 SUPEX홀에서 진행한 제9회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제9회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 1. AWS 생성형 AI 최신 기술 동향과 주요 업데이트 핵심 단어: Al 에이전트, AWS, 에이전트코어, S3벡터, 스트렌저SDK 요약 Al 에이전트의 발 전단계와 AWS의 대응 서비스 소개 Al 에이전트 개발. 운영을 위한 모델, 도구, 프레임워크 혁신 필요성 설명 AWS의 에이전트코어, S3벡터, 스트렌저 SDK 등 주요 AI 서비스 및 기능 소개 🧠 AI 에이전트 발전 단...
-
- [전문가 밋업#2] AI 서비스 경쟁력은 기능보다 최적화와 UX에서 나온다
- 주요 질문 / 답변 내용 Q. 보이저엑스는 어떤 회사이고, 어떤 제품을 만들고 있나요? A. 2017년 설립된 보이저엑스는 영상·자막 편집 서비스 ‘브루(Vrew)’, 모바일 문서 스캐너 ‘브이플랫(vFlat)’ 등 크리에이터와 지식 노동자를 위한 AI 기반 툴을 개발하는 스타트업입니다. 브루(Vrew): 자동 자막 생성, 텍스트 기반 컷 편집, 텍스트 기반 비디오 생성 기능을 제공합니다. 브이플랫(vFlat): 책이나 문서를 스캔헤 PDF로 변환합니다. 이외에도 AI를 이용한 다양한 서비스들을 출시하고 있습니다. Q. 현재 맡고 계신 역할은 무엇인가요? A. vFlat에 들어가는 on-device 모델을 학습하기도 하고, AI 모델을 서빙하거나 서빙된 모델을 최...
-
- 제8회 데보션 테크 데이 - AI 인프라의 핵심, 데이터센터를 말하다 발표 요약 및 영상 공유
- 지난 7월 10일 목요일에 SKT타워 4층 SUPEX홀에서 진행한 제8회 데보션 테크데이 발표 요약 및 영상을 공유드립니다. 본 발표 요약은 ＂에이닷 노트 기능＂을 통하여 요약하였습니다. 전체 발표자료는 ＂제8회_데보션_테크데이_배포용.pdf＂ 참고 부탁드립니다. 위 행사와 관련된 현장 스케치 보도 기사는 아래 SKT 뉴스룸에서 확인하실 수 있습니다. https://news.sktelecom.com/213870 00.Keynote AI 데이터 센터의 구조와 운영 변화 : AI 데이터 센터, GPU 클러스터, 토큰 제조 공장, 전력 최적화, SK 솔루션 요약 AI 데이터 센터는 초병렬 연산과 고전력 소비로 기존 데이터 센터와 구조와 운영 방식...
DEVOTEE 추천 블로그
-
- AI 선생님과 제자의 대화: Teacher–Student 구조와 BERTScore, Classifier 활용법
- 최근 LLM 기반 에이전트가 다양한 분야(예: 고객 상담, 여행 추천, 지식 답변 등)에 활용되면서, 모델 성능과 효율성의 균형이 매우 중요해졌습니다. 가벼우면서도 작으면서도 잘되는 모델 어디 없나 하는 형태죠. 이때 자주 사용되는 전략이 바로 Teacher–Student 구조입니다. Teacher-Student 구조는 딥러닝 분야에서 널리 사용되는 방식으로, 일반적으로 Knowledge Distillation(지식 증류, KD) 기법을 통해 활용됩니다 Knowledge Distillation Knowledge Distillation이란 큰 모델(Teacher)의 지식을 작은 모델(Student)로 이전하는 방법입니다. 간단히 표현하면, ＂큰 모델이 작은 모델을 ...
-
- EMNLP24 늦은 후기 1탄: 텔레콤 LLM 벤치마크 TelBench 발표 이야기
- 고객센터는 왜 ‘텔코 LLM’을 꿈꾸었는가? 통신사 고객센터의 하루는 복잡합니다. 각기 다른 상담원이 여러 차례 전화를 받으며 문제를 파악하고, 요금제와 부가서비스를 안내하고, 후속 조치를 남겨야 합니다. 대화는 길고 전문 용어가 많으며, 고객의 감정도 제각각입니다. 이런 과정을 일관성 있게 처리하려면 숙련된 상담사가 필요하지만, 교육과 유지에는 많은 시간과 비용이 듭니다. 바로 이 지점에서 SK텔레콤 AI Data Engineering팀은 ‘텔코 특화 LLM’의 가능성을 보았습니다. 기존 범용 LLM이 상담 대화 요약과 후속 업무를 자동화할 수 있다면 상담 효율이 크게 향상될 수 있을 것입니다. 그러나 현실은 녹록지 않았습니다. 일반 LLM은 통신 도메인의 복잡...
-
- AI로 SKT 고객 응대 패러다임을 바꾼 이야기. 콜봇과 챗봇 그리고 상담사 Assistant
- SK Telecom의 고객 응대는 여러 형태로 이루어집니다. 상담사를 대신해 전화로 고객을 응대하는 콜봇과, 고객이 직접 메시지를 통해 요구 사항을 해결하는 챗봇이 있습니다. SK Telecom에서는 LLM, 음성 인식, 음성 합성 기술을 활용하여 상담사 개입 없이 고객의 요구사항을 해결하는 서비스를 어떻게 개발했는지 그 과정을 공유하고자 합니다. 또한, 콜봇과 챗봇으로 해결할 수 없는 경우, 고객센터 상담사들을 AI가 효율적으로 지원할 수 있는 기술에 대해 설명드리고자 합니다. 특히 고객 상담 내용을 학습한 LLM을 어떻게 활용했는지, 그 개발 과정을 보여 드리겠습니다. 박병관SK텔레콤 SK Telecom AI Tech Product에서 음성인식/합성, LLM ...
-
- 고객 상담의 뉴 레벨! RAG 기술로 상담사를 업그레이드하다 : RAG 기술적 노하우와 베스트 프랙티스
- 상담사의 업무 효율성을 극대화하기 위한 RAG(Retrieval-Augmented Generation) 기술과 Telco-specific LLM 최적화 전략 및 인사이트를 설명합니다. 신속하고 정확한 정보 제공이 필수적인 오늘날의 고객 상담을 위해, RAG 기술을 도입하여 상담사들이 실시간으로 필요한 상품 매뉴얼과 상담 지식을 신속하게 얻을 수 있도록 지원하고 있습니다. 이를 통해 상담사의 업무 퍼포먼스를 극대화하여 고객들이 최상의 상담 경험을 느낄 수 있습니다. 이번 발표에서는 RAG 기술의 각 단계에서 직면한 다양한 도전 과제와 이를 해결하기 위해 시도한 기술적 노하우 및 실험 과정들을 공유합니다. 데이터 전처리, 모델 훈련, 정보 검색, 도메인 특화 지식 통...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.