DEVOCEAN

1. 스터디 개요

본 스터디는 최신 Cloud Native 기반 LLMOps(대규모 언어모델 운영) 플랫폼 환경을 구축하고,

이 플랫폼 위에 멀티모달 기반 AI 챗봇 서비스를 상용화 하기 위한 주요 기술에 대해 연구&개발 하고자 합니다.

실제 현업에서 활용되는 LLM 플랫폼 구축, 멀티모달 데이터 처리, Advanced RAG 등 다양한 주제를 다루며, 실질적인 프로젝트 경험을 쌓고 싶은 분들을 위한 모임입니다.

실무 중심의 협업과 지식 공유를 통해, LLM 기반 시스템의 핵심 기술을 함께 탐구하고 성장할 수 있는 기회를 만들고자 합니다.

2. 아키텍처

3. 개발스택

Platform

• Kubernetes

• Istio

• Prometheus & Grafana

• Minio

LLMOps

• LLM Serving (/w Nvidia Dynamo)

• MLLM (Llama 4 Mavertick 400B)

• VectorDB (/w Milvus)

• Tracking & Evaluation (/w Langfuse)

• Workflow (/w Dify, n8n)

AI Agent

• Advanced RAG (/w Self Querying)

• Re-Rank (/w huggingface)

• Context Compression (/w huggingface)

• Embedding Model (/w hugging face)

• LLM Framework (/w LangChain, LangGraph)

• Agent Framework (?)

  
  

4. 주요 학습 & 개발 내용

• Cloud Native 기반 LLMOps 플랫폼 구축

  • Kubernetes 클러스터 환경에서 LLMOps에 필요한 주요 서비스(Dify, n8n 등) 구축

  • Nvidia Dynamo 기반 대용량 추론 트래픽 효율 처리 및 LLM Serving 기술 연구

  • Prometheus & Grafana Stack을 활용한 마이크로서비스 통합 모니터링 시스템 구축

  • RAG 주요 성능지표 모니터링 및 평가를 위한 LLM Evaluation 시스템 개발

• 멀티모달 컨텐츠 데이터 검색을 위한 Parser Server 개발

  • 이미지, 테이블, 차트 등 멀티모달 컨텐츠가 포함된 PDF 문서 파싱 및 메타데이터 기반 벡터 임베딩 기술 개발

  • Knowledge Base 구축을 위한 데이터 파이프라인 자동화 개발

• 멀티모달 기반 AI 챗봇 개발

  • Agentic RAG 디자인 패턴을 활용한 고도화된 질문/답변 정확도 향상 기술 연구

  • 코드 예시, 표, 차트, 이미지 설명 등 다양한 형태의 답변 제공 시스템 개발

    
    

5. 참가 대상

• 창의성을 발휘하여 자기 주도적으로 조금 늦더라도 하나씩 해결하면서 희열을 느낄 수 있는 분

• LLMOps 플랫폼 구축에 관심 있으신 분

• 대용량 추론 트래픽을 스케쥴링하기 위한 Nvidia Dynamo LLM Serving 기술에 관심 있으신 분

• 사용자 질의/답변 생성 과정에서 Optimal RAG 파이프라인 설계/개발하고 평가 프레임워크 개발에 관심 있으신 분

• 멀티모달 컨텐츠 기반으로 RAG 구현에 관심이 있으신 분

  
  

6. 모임 일정 및 방식

• 모임 방식: 온/오프라인 병행 (온라인 밋업 링크 별도 공유)

• 기간: 2025년 7월 1일(화) ~ 10월 31일(금) (총 16주, 2주 1회 모임)

• 주기: 2주에 한 번, 회당 2시간

• 참여 조건: 스터디 수준이 아닌 실무 수준에서 함께 연구·개발 의지가 있으신 분

  
  

7. 모임 장소

• 장소: SKT 판교사옥 8F (경기도 성남시 판교로 264 SK텔레콤 사옥)

• 시간: 19:00 ~ 21:00 (예정, 퇴근 후 저녁 시간대 운영)

관심 있는 분들의 많은 지원 바랍니다!

8. 신청 방법

기타 안내는 데보션 -> 스토리 -> OpenLab 의 학습 모임 안내 페이지를 참고하세요.