DEVOCEAN

FriendliAI에서 개발한 생성 AI 서빙 엔진 PeriFlow와 관련 기술 및 프로덕트를 소개합니다.

PeriFlow는 현재 시장에서 사용 가능한 가장 빠른 생성 AI 서빙 엔진으로 Llama 2 등의 생성 AI 모델을 서빙하는데 필요한 GPU 자원을 70~90% 가량 절감해 줍니다. 생성 AI 모델에 특화된 혁신적인 batching 기술을 통해 PeriFlow 엔진은 낮은 latency를 유지하면서 처리량을 크게 향상시킵니다. 해당 기술은 미국과 한국의 특허로 보호되고 있고, 타 지역에도 특허 출원이 되어 있습니다. PeriFlow는 container와 cloud (SaaS) 두 가지 형태로 제공됩니다.

■ 발표자 소개

유경인 (FriendliAI)

서울대학교에서 컴퓨터공학과 경제학을 전공했고, 동 대학에서 컴퓨터공학 박사 학위를 받았습니다. 박사 과정 동안 LLM을 포함한 AI 모델을 빠르고 효율적으로 수행하는 시스템을 연구했으며, 연구 성과를 인정받아 우수 학위 논문상을 수상했습니다. 최근에는 ChatGPT, Stable Diffusion 등 생성 AI를 위한 빠르고 효율적인 서빙 시스템을 개발하는 데 주력하고 있습니다.