DEVOCEAN

내 업무에 딱 맞춘 가벼운 LLM을 만들고 싶다면?

SKT의 LLM을 고객의 필요에 맞게 최적화하여 On-Premise 환경에서 제공하는 Enterprise 서비스를 소개합니다.

문서 요약, 문서 검색, 질의&응답 등 다양한 업무를 비교적 작은 규모의 모델로 지원하기 위해 Fine-Tuning 뿐 아니라 Context 기반 Retrieving 등 다양한 기술을 개발하고 있습니다. 또한 이를 요소화하여 서비스 개발을 가속화하는 LLMOps Framework를 개발하고 있습니다.

기술 전문가와 개발자를 대상으로 세부 기술에 대한 소개와 서비스 개발 과정에서의 경험, 그리고 향후 발전 방향에 대해서 공유하고자 합니다.

■ 발표자 소개

김성원 (SK텔레콤)

학위 후 무선망 연구를 하던 중 인공신경망에 매료되어 2019년 SKT AI 연구소에 합류하였습니다.

Multimodal AI 서비스 개발과 AI 기반 그룹사 업무 효율화를 수행해오고 있으며, 현재는 가볍지만 똑똑한 AI 서비스를 만들기 위해 Generative AI 모델을 튜닝하고 있습니다.

좀 더 말랑말랑한 LLM에 대한 이야기를 나누고 싶습니다.

김응창 (SK텔레콤)

SKT AIX의 MLOps Tech팀에서 LLM을 이용한 B2B/B2G 서비스를 개발하고 있습니다.

항상 새로운 것들을 만지는 것을 좋아하는 개발자로서, 즐거운 마음으로 LLM에 대해 알아가고 있습니다.