로그인 선택
미리보기
커뮤니티
1,234
23.06.15
글 등록
카테고리를 선택해주세요.
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함에 저장되었습니다.
저장일시 : 2022.5.17 14:29:08
임시저장함
제목을 선택하시면 이어서 작성이 가능하며,
최대 20건까지 저장합니다.
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
효율적인 데보션 서비스 이용 및
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 실패
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 (ollama, langchain 활용) - 5회차 모임
- DEVOTEE 요약
- DEVOCEAN OpenLab의 LLM 환경 구축 프로젝트에서는 elice cloud를 활용하여 A100 80GB 모델로 학습을 진행하며, Fine Tuning 작업을 준비 중입니다. 비용 절감과 효율적인 작업을 위해 공유 인스턴스를 사용하나, 사용자 간 시간 조정이 필요합니다. 추석 이후에는 최적화된 모델을 공개할 예정이니 기대해주세요!
5회차 활동: Cloud 환경 setup 및 학습 진행!
안녕하세요
Devocean OpenLab : 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트의 host LAC 입니다.
지난번까지는 모델 선정 및 학습 방식에 대한 논의 및 구체화가 진행되었고, script 작성이 진행되었습니다.
해당 환경 및 학습 방식에 대한 자세한 설명은, 아래에 Juan 님께서 자세히 설명해주신 기존 blog를 참고 부탁드립니다
https://devocean.sk.com/community/detail.do?ID=167787
(상세한 작성을 진행해주신 Juan 님께 다시 한번 감사의 말씀을 올립니다 ^-^)
이렇게 고생해서 작성된 환경이니만큼, 위의 환경을 실제로 실행시켜보아야겠죠!
저희의 모델 학습 플랫폼은, elice cloud에서 진행하였습니다. (광고 아닙니다 ㅎㅎ)
a100, 80Gb 짜리 모델을 활용하여 학습을 진행하였고, 이제 Fine Tuning 작업을 차후에 진행할 예정입니다.
많은 참여자 분들께서, 우선은 하나의 instance를 공유해서 사용하는 방식으로 진행하면서
비용 절감및 불필요 반복 작업을 save 하는 데에는 도움이 많이 되지만, 서로 사용 시간 및 Instance 사용/종료 여부에 대한 일정을 섬세히 조정하는 과정이 필요합니다 :)
추석 이후에 진행될 차후 study에서는, 저희의 모델이 어떻게 최적화 되어 등장할지 기대해주세요!
L.A.C 님의 최신 블로그
더보기-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 - 7회차 모임
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 주제로 스터디 운영중인 LAC 입니다. 어느덧 7회차에 접어들면서, 스터디가 마지막에 다가왔습니다. 직전 6회차 스터디에서는 저희가 학습한 Model의 성능 최적화를 위하여 Quantization 을 도입하여 elice cloud 플랫폼에서 진행하였습니다. 이제는 Application으로의 확장 및 응용을 목표로 논의와 의견 공유를 진행하였습니다. 기본적으로 저희의 모델은 API 기반으로 호출 역시 가능하기에, LLM API 호출하듯 사용하고, Application으로는 User와 저희 Model의 Interface를 직관적으로 진행해주는 방향을 고민해보고자 합니다. 나온 아이디어는 총 2가지로,...
-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 - LLM fine tuning (6회차)
- 안녕하세요 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 주제로 스터디를 진행 중인 LAC 입니다. overview 로, 저희의 전체적인 프로젝트 진행 방향은 아래와 같습니다: 1. Dataset 전처리 (중복 제거, ... etc) 2. Training -〉 gemini (Distilation to Gemma) 3. Fine Tuning 4. Optimize ＆ 경량화 5. Application으로의 확장 지난번에는 model의 학습을 위하여 elice 라는 클라우드 플랫폼을 활용하였는데요, 해당 플랫폼을 통하여 저희의 모델 최적화를 진행하였습니다. 최적화 방식으로는 Pruning과 Quantization 중 고민하다, Quantzation으로 결정하여 진...
-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 (ollama, langchain 활용) - 5회차 모임
- 5회차 활동: Cloud 환경 setup 및 학습 진행! 안녕하세요 Devocean OpenLab : 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트의 host LAC 입니다. 지난번까지는 모델 선정 및 학습 방식에 대한 논의 및 구체화가 진행되었고, script 작성이 진행되었습니다. 해당 환경 및 학습 방식에 대한 자세한 설명은, 아래에 Juan 님께서 자세히 설명해주신 기존 blog를 참고 부탁드립니다 https://devocean.sk.com/community/detail.do?ID=167787 (상세한 작성을 진행해주신 Juan 님께 다시 한번 감사의 말씀을 올립니다 ^-^) 이렇게 고생해서 작성된 환경이니만큼, 위의 환경을 실제로 실...
-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 (ollama, langchain 활용) - 3회차 모임
- 안녕하세요, 데보션 오픈랩 Host로 활동 중인 L.A.C 입니다. 온디바이스 AI를 위한 나만의 local llm 구축하기 주제로 3회차 모임을 진행하였습니다. 금주는 On device AI 구현을 목표로 project 주제를 선정하였으며, project plan을 수립하였습니다. ［Spam 문자 필터링 On Device AI 구현 Projcet］ Plan: 1:Dataset (1만개 확보 목표) -〉 중복 Data 제거 작업 2: 중복 제거된 Data를 Gemini의 Input으로 Query 함으로서 Gemini의 답변 확보 3. 확보된 Gemini의 답변을 Gemma에 knowledge Distillation 진행 4. (Optional) 중복 답변 제거 5...
DEVOTEE 추천 블로그
-
- OpenLab - OpenLLM 1차 OT 및 오프라인 미팅 일정 정리
- 안녕하세요. 9명 스터디 멤버로 구성되었으며, 4/23(화)와 4/25(목) 온라인 OT를 통해서 5월~7월 오프라인 미팅 계획을 아래와 같이 간단하게 협의했고, 진행할 예정입니다. 오프라인 스터디 일정입니다. - 5/8(수)를 시작으로 2주 단위로 20시~21시 - 장소 : 판교사옥 - 사전 온라인 OT 에서 gemma 모델을 사용한 기본적인 LLM Fine Tuning 코드 구조 설명 전체 스터디 흐름입니다. - 5/8(수)까지 개별적으로 모델을 선택해서 예측까지 돌려보는 코드 완성 - 데보션 소통/참여〉커뮤니티에 스터디 전일 24시까지 ［OpenLLM스터디］ 제목 태그로 등록 - 글 작성 (변경이 적은 경우 업데이트 , 많은 경우 새글) - 월별 목표 1) ...
-
- OpenLab 2기 - Cloud 에서 AI 활용하기 4번째 모임(24.10.21)
- 안녕하세요. 데보션 오픈랩 2기의 Cloud에서 AI 활용하기(feat. AWS Cert ML Specialty 취득)에 참가하고 있는 강형근입니다. 10.21 모임도 을지로 삼화타워 room3에서 모여 진행을 했습니다. 이번 모임은 Chapter 7의 Evaluating and Optimizing Models와 Chapter 8의 AWS Application Services for Al/ML에 대하여 공부해오는 것이었습니다. 제가 7장, 그리고 정경일님께서 8장을 발표해주셨습니다. 사실 제가 늦게 도착하는 바람에 정경일님께서 먼저 발표를 해주셨습니다. 정말 죄송하게 생각합니다 ㅜㅜ 제가 발표를 맡은 Chapter 7은 모델 평가 및 최적화 관련 내용으로 머신러닝...
-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 (ollama, langchain 활용) - 3회차 모임
- 안녕하세요, 데보션 오픈랩 Host로 활동 중인 L.A.C 입니다. 온디바이스 AI를 위한 나만의 local llm 구축하기 주제로 3회차 모임을 진행하였습니다. 금주는 On device AI 구현을 목표로 project 주제를 선정하였으며, project plan을 수립하였습니다. ［Spam 문자 필터링 On Device AI 구현 Projcet］ Plan: 1:Dataset (1만개 확보 목표) -〉 중복 Data 제거 작업 2: 중복 제거된 Data를 Gemini의 Input으로 Query 함으로서 Gemini의 답변 확보 3. 확보된 Gemini의 답변을 Gemma에 knowledge Distillation 진행 4. (Optional) 중복 답변 제거 5...
-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 - LLM fine tuning (6회차)
- 안녕하세요 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 주제로 스터디를 진행 중인 LAC 입니다. overview 로, 저희의 전체적인 프로젝트 진행 방향은 아래와 같습니다: 1. Dataset 전처리 (중복 제거, ... etc) 2. Training -〉 gemini (Distilation to Gemma) 3. Fine Tuning 4. Optimize ＆ 경량화 5. Application으로의 확장 지난번에는 model의 학습을 위하여 elice 라는 클라우드 플랫폼을 활용하였는데요, 해당 플랫폼을 통하여 저희의 모델 최적화를 진행하였습니다. 최적화 방식으로는 Pruning과 Quantization 중 고민하다, Quantzation으로 결정하여 진...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.