DEVOCEAN

AI 데이터센터는 높은 구축 및 운영 비용이 요구되며, 고성능 하드웨어의 확보뿐만 아니라

소프트웨어 계층을 통해 하드웨어의 성능과 용량을 최대한 활용하는 것이 중요합니다.

래블업의 Backend.AI 플랫폼은 다중 GPU 및 다중 노드 설정을 자동화하고, 필요할 때만 동적으로 컨테이너를 프로비저닝하여 자원 활용도를 높입니다.

또한 하드웨어 레이아웃을 고려한 최적의 스케줄링으로 성능 효율을 극대화합니다.

이번 발표에서는 GPUDirect Storage와 같은 I/O 가속 기술을 통합한 컨테이너 기반 GPU 분할 가상화 기술을 통해,

다양한 파라미터 크기와 양자화 수준의 다종 언어 모델 및 멀티모달 모델을 단일 인프라에서 최적의 비용으로 배포 및 서비스하는 방법을 소개합니다.

김준기래블업

래블업에서 Backend.AI 개발 총괄 리드를 맡고 있습니다.

분산처리 시스템 및 GPU 기반 가속 컴퓨팅에 대한 연구 경험을 바탕으로, Backend.AI 시스템을 설계 및 구현하였으며, CPython 및 asyncio 상태계 등 다양한 오픈소스 기여도 이어오고 있습니다.

#MLOps #AIOps #Infrastructure #AI Platform #GenAI #LLM #Datacenter #Scheduler #Container Orchestration #GPU #NPU