DEVOCEAN

안녕하세요, 데보션 오픈랩 Host로 활동 중인 L.A.C 입니다.

온디바이스 AI를 위한 나만의 local llm 구축하기 주제로 3회차 모임을 진행하였습니다.

금주는 On device AI 구현을 목표로 project 주제를 선정하였으며, project plan을 수립하였습니다.

[Spam 문자 필터링 On Device AI 구현 Projcet]

Plan:

1:Dataset (1만개 확보 목표) -> 중복 Data 제거 작업

2: 중복 제거된 Data를 Gemini의 Input으로 Query 함으로서 Gemini의 답변 확보

3. 확보된 Gemini의 답변을 Gemma에 knowledge Distillation 진행

4. (Optional) 중복 답변 제거

5. (Optional) 답변의 Quality Filtering 작업 수행

6. 5번까지의 Gemma Model Fine Tuning (SFT 방식 -> curriculum learning)

7. Model Optimize 진행 (Pruning / Quatization)

8. (Optional) RAG 구현

9. Application으로 Wervice 시 고려하여야 할 요소들 고려 / 구현

Action Item:

git을 통한 형상 관리 진행

Dataset 전처리 작업 수행 -> Google Drive 하나로 관리

Skeleton Code 구현