DEVOCEAN

Friendli Suite는 생성형 AI 모델에 특화된 최적화 기술을 바탕으로 속도는 더 빠르게, GPU 비용은 더 적게 사용하는 혁신적인 생성AI 학습/추론 플랫폼입니다.

맞춤형 모델 학습과 최적화된 추론 서빙을 지원하며, 강력한 소프트웨어 기술로 추론 시간을 대폭 단축하고 처리 성능을 최대화하여

GPU 비용을 최대 90%까지 절감할 수 있습니다.

FriendliAI는 고객의 다양한 운영 요구에 맞춰 쉽고 편리하게 맞춤형 모델을 학습하고 서빙할 수 있는 Dedicated Endpoints,

고객 환경에서 직접 운영 가능한 Container, 그리고 Llama 3.1 등 오픈소스 모델 API를 제공하는 Serverless Endpoints로 구성된 유연한 제품군을 제공합니다.

이번 발표에서는 실제 고객 사례를 통해 생성형 AI 모델의 학습과 서빙 과정에서 직면하는 문제들을 FriendliAI가 어떻게 해결하는지 보여드리고,

그 과정에서 달성한 핵심 기술 혁신과 성능 개선에 대해 공유합니다.

생성형 AI의 현재와 미래, 그리고 이 기술을 선도하는 FriendliAI의 역할에 대해 함께 논의할 예정입니다.

유경인프렌들리 AI

프렌들리 AI의 CTO로서, 생성 AI를 위한 플랫폼을 개발하고 있습니다.

생성 AI 추론에서 가장 중요한 기술 중 하나인 Continuous Batching의 발명자 입니다.

서울대학교에서 컴퓨터공학과 경제학을 전공했고, 동 대학에서 컴퓨터공학 박사 학위를 받았습니다.

박사 과정 동안 LLM을 포함한 AI 모델을 빠르고 효율적으로 수행하는 시스템을 연구했습니다.

#LLM #AI Agent #LLM 추론 #LLM 학습 #생성 AI 플랫폼