로그인 선택
미리보기
커뮤니티
1,234
23.06.15
글 등록
카테고리를 선택해주세요.
DEVOTEE를 활성화 시키면
지금 작성한 커뮤니티 글에 대해 1개의 댓글을 달아줍니다.
버튼을 누르면 글 수정 시 ChatGPT가 작성한 댓글이 수정됩니다.
임시저장함에 저장되었습니다.
저장일시 : 2022.5.17 14:29:08
임시저장함
제목을 선택하시면 이어서 작성이 가능하며,
최대 20건까지 저장합니다.
최대 20건까지 저장합니다.
| 컨텐츠 유형 | 제목 | 저장일 | 삭제 |
|---|
본인인증
효율적인 데보션 서비스 이용 및
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
고객님의 소중한 개인정보보호를 위해
본인인증을 진행해주세요. 본인인증 미 진행 시 로그인이 제한됩니다.
본인인증 실패
본인인증 로그인에 실패하였습니다.
회원이 아니시거나 본인인증 등록이
완료되지 않은 사용자입니다.
회원정보 연결
나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 (ollama, langchain 활용) (2회차)
- DEVOTEE 요약
- 2번째 Study에서는 로컬 LLM 세팅 후 각자의 환경에서 활용 가능한 아이디어를 공유했습니다. 주요 논의 내용은 WebUI를 통한 챗봇 GUI 구현, 성능 개선 방안(Qunatization, Pruning 등), 그리고 분야별 적용 가능성(예: 도메인 특화 AI, 음성 기반 챗봇)이었습니다. 또한 Ollama를 활용해 손쉽게 시스템을 구축할 수 있다는 점이 강조되었습니다.
2주차 Study 기록
1주차 Study의 Action Item은 각각의 환경에서 인터넷 연결 없이도 구동 될 수 있는 Local LLM을 Setup 하는 것 이였습니다.
2주차는 각각이 Setup 하신 환경 을 바탕으로 아래의 주제에 대한 각자의 Idea 를 발표/공유 진행하였습니다.
use case
해당 on device system 에서의 성능 개선을 이끌어낼 수 있는 방향/방법
해당 방식을 바탕으로 활용해보고 싶은 분야 / 추가로 진행하고 싶은 study 주제
해당 Study에서 나온 내용을 정리하면 아래와 같았습니다.
[Setup]
ollama를 이용하여 손쉬운 구축이 가능
[Use Case]
WebUI를 활용하여 GUI 기반의 Chat - Bot Style User Interface 구현
[On device System에서의 성능 개선 방안]
Qunatization
Pruning
Distillation
Fine Tuning
[해당 System의 적용 가능 분야]
Domain 특화 AI Assistant
음성 기반의 챗봇
Vision + Text
L.A.C 님의 최신 블로그
더보기-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 - 7회차 모임
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 주제로 스터디 운영중인 LAC 입니다. 어느덧 7회차에 접어들면서, 스터디가 마지막에 다가왔습니다. 직전 6회차 스터디에서는 저희가 학습한 Model의 성능 최적화를 위하여 Quantization 을 도입하여 elice cloud 플랫폼에서 진행하였습니다. 이제는 Application으로의 확장 및 응용을 목표로 논의와 의견 공유를 진행하였습니다. 기본적으로 저희의 모델은 API 기반으로 호출 역시 가능하기에, LLM API 호출하듯 사용하고, Application으로는 User와 저희 Model의 Interface를 직관적으로 진행해주는 방향을 고민해보고자 합니다. 나온 아이디어는 총 2가지로,...
-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 - LLM fine tuning (6회차)
- 안녕하세요 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 주제로 스터디를 진행 중인 LAC 입니다. overview 로, 저희의 전체적인 프로젝트 진행 방향은 아래와 같습니다: 1. Dataset 전처리 (중복 제거, ... etc) 2. Training -〉 gemini (Distilation to Gemma) 3. Fine Tuning 4. Optimize ＆ 경량화 5. Application으로의 확장 지난번에는 model의 학습을 위하여 elice 라는 클라우드 플랫폼을 활용하였는데요, 해당 플랫폼을 통하여 저희의 모델 최적화를 진행하였습니다. 최적화 방식으로는 Pruning과 Quantization 중 고민하다, Quantzation으로 결정하여 진...
-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 (ollama, langchain 활용) - 5회차 모임
- 5회차 활동: Cloud 환경 setup 및 학습 진행! 안녕하세요 Devocean OpenLab : 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트의 host LAC 입니다. 지난번까지는 모델 선정 및 학습 방식에 대한 논의 및 구체화가 진행되었고, script 작성이 진행되었습니다. 해당 환경 및 학습 방식에 대한 자세한 설명은, 아래에 Juan 님께서 자세히 설명해주신 기존 blog를 참고 부탁드립니다 https://devocean.sk.com/community/detail.do?ID=167787 (상세한 작성을 진행해주신 Juan 님께 다시 한번 감사의 말씀을 올립니다 ^-^) 이렇게 고생해서 작성된 환경이니만큼, 위의 환경을 실제로 실...
-
- 나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 (ollama, langchain 활용) - 3회차 모임
- 안녕하세요, 데보션 오픈랩 Host로 활동 중인 L.A.C 입니다. 온디바이스 AI를 위한 나만의 local llm 구축하기 주제로 3회차 모임을 진행하였습니다. 금주는 On device AI 구현을 목표로 project 주제를 선정하였으며, project plan을 수립하였습니다. ［Spam 문자 필터링 On Device AI 구현 Projcet］ Plan: 1:Dataset (1만개 확보 목표) -〉 중복 Data 제거 작업 2: 중복 제거된 Data를 Gemini의 Input으로 Query 함으로서 Gemini의 답변 확보 3. 확보된 Gemini의 답변을 Gemma에 knowledge Distillation 진행 4. (Optional) 중복 답변 제거 5...
DEVOTEE 추천 블로그
-
- OpenLab - OpenLLM, Llama3-8b | LlamaIndex | qdrant 로 만들어본 RAG 요약 LLM
- 지난 5월22일 오후 8시~9시에 판교사옥에서 2차 오프라인 미팅을 진행하였습니다. 주제 : OpenLLM 스터디 2차 오프라인 모임 일시 : 5/22 20:00 ~ 21:30 장소 : 판교사옥 참석 : 멤버 9명 중 6명 스터디 내용 가. RAG, Langchain 1차 개발 경험 상호 공유 나. 향후 계획 RAG 2차 완성 코드 개발 개발 소스코드를 첨부하고 다른 사람의 코드를 모두 실행해 보면서, RAG와 Langchain의 정확한 이해 다. 스터디 목표 법 요약/문장요약/Q＆A 에 대한 RAG 및 Fine-tuning 완료 완성 형태 : 챗봇 또는 Web 등 완성품 형태의 UI 포함 라. 일정 RAG : 6/5 또는 6/19 Fine-Tuning : 6/1...
-
- OpenLab - OpenLLM, LLaMA3 을 이용한 RAG 구축 + Ollama 사용법 정리
- 스터디 운영자님의 스터디 운영 경과와 함께 스터디 내용 요약 정리해보았습니다. 0. 스터디 운영 공지 대부분의 멤버가 OpenLLM을 이용한 RAG 코드 개념 이해하는 것으로 확인되어 다음 스터디(6/19) 전(6/16)까지 3개 주제별로 OpenLLM 을 이용한 챗봇까지 개발해서 충분한 주석을 포함하고 챗봇 화면을 캡처해서 완성된 코드 버전을 제출할 예정입니다. 1. RAG Llama3-KO 를 이용해 RAG 를 구현해 보겠습니다. RAG 에 사용할 PDF로 근로기준법을 다운로드하여 사용했습니다. https://www.law.go.kr/법령/근로기준법 필요한 라이브러리 임포트 import os import warnings warnings.filterwarning...
-
- OpenLab - OpenLLM, Ensemble Retriever(pre), Rerank(post)가 적용된 RAG 챗봇 구현하기
- OpenLLM 스터디 모임 경과를 정리하면서 현재까지 구현된 RAG 챗봇 내용을 함께 공유드립니다. 스터디 모임 경과 - 주제 : OpenLLM 스터디 4차 오프라인 모임 - 일시 : 6/19 20:00 ~ 21:00 - 장소 : 판교사옥 - 참석 : 멤버 7명 중 4명 10명에서 3명 탈퇴(1명:이직, 2명:업무변경) - 스터디 내용 1) RAG 에서 Pre/Post Retriever 코드 구현 공유 및 의견 교환 2) RAG 평가 ragas 공유 3) 다음 스터디까지 제출 코드(파이썬 가상환경 requirements 포함) openllm 별도 로딩 및 서비스 시작 파일 업로드: 질문에 답변할 문서 데이터셋(pdf)을 업로드 Splitter: 업로드된 파일을 분...
-
- OpenLab - OpenLLM, Llama-2 7B, FAISS, LangChain 활용한 RAG 구현
- OpenLLM 스터디 모임 경과를 정리하면서 현재까지 구현된 RAG 챗봇 내용을 함께 공유드립니다. 스터디 모임 경과 - 주제 : OpenLLM 스터디 5차 오프라인 모임 - 일시 : 7/3 20:00 ~ 21:00 - 장소 : 판교사옥 - 참석 : 멤버 6명 중 4명 ［+］ 7명에서 1명 탈퇴(1명:취업) - 스터디 내용 1) RAG 에서 Pre/Post Retriever 코드 구현 공유 및 의견 교환 2) 특이점 토의 ollama 로 모델이 배포되지 않은 경우 vllm 사용 pre/post retriever 부분에서 시간 지연이 큰 경우 정상동작하는 다른 멤버의 코드 참고 langchain 과 LlamaIndex 중 langchain 의 평가가 좋지 않은 것으...
DEVOTEE를 활성화 시키면
지금 작성한 댓글에 AI가 댓글을 달아줍니다.