DEVOCEAN

나만의 온디바이스 AI 구현을 위한 로컬 LLM 환경 구축 프로젝트 주제로 스터디 운영중인 LAC 입니다.

어느덧 7회차에 접어들면서, 스터디가 마지막에 다가왔습니다.

직전 6회차 스터디에서는 저희가 학습한 Model의 성능 최적화를 위하여 Quantization 을 도입하여 elice cloud 플랫폼에서 진행하였습니다.

이제는 Application으로의 확장 및 응용을 목표로 논의와 의견 공유를 진행하였습니다.

기본적으로 저희의 모델은 API 기반으로 호출 역시 가능하기에,

LLM API 호출하듯 사용하고, Application으로는 User와 저희 Model의 Interface를 직관적으로 진행해주는 방향을 고민해보고자 합니다.

나온 아이디어는 총 2가지로,

1. Web 개발

2. Android App 개발 입니다.

두가지 모두, 저희 모델의 본질인 스팸 문자 필터링 이라는 기능에 맞도록,

User가 Input으로 제공한 text data에 대하여 Output을 출력하되, 그 사이에서의 다양한 User Interface를 고민하고자 합니다.

1번 방식의 계획으로는

Python 기반으로,

Front End는 Streamlit,

DB는 Chroma DB

Langchain을 통하여 Chroma DB와 저희의 Model을 연동하는 방식으로서 구현하는 방식으로 계획하고 있습니다.

https://docs.streamlit.io/develop/api-reference

https://docs.langchain.com/oss/python/langchain/overview

2번 방식은 Android SmartPhone에서의 동작을 목표로, 안드로이드 개발을 진행하는 방안입니다.

다만 Android Developer를 이용한 정식의 App 개발은 여건상 무리로 예상되기에,

상당히 간단한 App Inverntor Tool 이나, 혹은 Vibe Coding에 기대하여 진행하는 방안으로 계획 중입니다.

남은 스터디 기간 동안 어떠한 결과물이 나올지 기대되네요,

본래 목표였던 모델의 개발을 넘어서, 사용자 환경까지 고려하는 좋은 기회가 될 것 같습니다.