DEVOCEAN

🌟 스터디 개요 및 학습 목표

보안/프라이버시 이슈로 서버를 거치지 않는 local AI 서비스에 대한 수요는 늘 있을 것입니다.

최근 삼성 갤럭시에서 출시한 on device AI 에서 "디바이스 내부에서 데이터 처리" 라는 기능을 제공하며,

프라이버시에 민감한 정보를 서버에 거치지 않고, 성능에 타협을 하더라도 기기 내부에서만 처리하길 희망하는 수요가 있음을 보여주었습니다.

최근의 DeepSeek 역시 성능은 혁신적 이였으나, 보안 이슈로 인하여 관공서 및 은행 등에서 사용이 제한되었었죠.

더불어, 이러한 Local LLM 환경을 구축해두면, 사용자가 자신의 필요에 의하여 자유롭게 tuning이 가능하기에 보다 User Specific 하게 활용이 가능할 것이라 생각합니다.

본 study에서는, 제한된 HW 환경에서 수행이 가능한 On Device LLM 환경 구축을 위한 실습을 진행합니다.

최종적으로는 구축해둔 LLM 환경의 활용 분야까지도 자유롭게 탐색해보고자 합니다.

이를 위하여 Foundation Model은 opensource로 공개된 model 중에 선정하여 진행 예정이며,

ollama / HuggingFace를 활용하여 설치하며, langchain에 대한 study 역시 진행하여 진행 예정입니다.

여건이 허락된다면, Local LLM 환경에 RAG 까지 구축하는 방안 역시 고려 중입니다!

관심 있는 분들의 많은 관심과 참여 부탁 드립니다.

📚 활동 내용

• On device AI 개념 이해

• ollama & HuggingFace & Langchain에 대한 스터디 진행

• Local LLM 환경 구축 project 수행

• (변동 가능) Local LLM 환경 기반 RAG 구현 project 수행

• (변동 가능) 수행한 prj 를 활용할 수 있는 방안 도출

  
  

🎯 참가 대상

• On Device LLM 환경 구축에 관심이 있는 누구나

• ollama/HuggingFace 및 Langchain 활용 경험이 있으시면 더 좋을 것 같습니다. (필수 x)

• 평일 저녁 (어쩌면 주말) 대면 위주의 Study에 적극적으로 참여 가능하신 분

• 본인이 시도한 방안을 공유하기를 좋아하며, 다른 분들에게 적극적인 도움을 주실 수 있는 분

  
  

📅 모임 일정 및 방식

• 모임 방식: 오프라인 미팅 (실습 및 내용 공유)

• 기간: 7/14 ~ 10/31, 4개월 동안 진행 (총 8회 진행 예상, 변동 가능)

• 주기: 격주로 진행, 회당 2~3시간 (변경 될 수 있음)

• 되도록 을지로 입구역 / 분당 두 장소 모두 참석이 가능하신 분이면 좋겠습니다. (장소 협의 후 선정 예정)

• 평일 저녁 or 주말에 격주 2~3시간을 확보 가능하신 분

  
  

🔧 참여 준비물

• 가벼운 LLM을 돌릴 수 있는 HW 환경이 있으신 분 (꼭 laptop 일 필요는 없음. desktop 원격 접속 고려 가능)

• 적극적인 참여 및 학습 의지

• sw 개발 경험 및 관련 경험이 있다면 좋겠지만, 필수는 아닙니다! 누구나 환영합니다. 함께 성장해요!

  
  

📍 모임 장소

• 스터디 참여원의 의견을 취합하여 결정.

• 아래는 후보지 두 곳 입니다.

• 을지로 입구역 삼화타워 3층 - 평일: 19:00 ~ 22:00 or 주말 (3hr 예상)

• 분당 (정자 ~판교) - 평일: 19:00 ~ 22:00 or 주말 ( 3hr 예상)

  
  

📝 신청 방법

기타 안내는 데보션 -> 스토리 -> OpenLab 의 학습 모임 안내 페이지를 참고하세요.