DEVOCEAN

안녕하세요. 요즘 AI에 대한 열풍이 엄청납니다.

최근엔 Local AI가 각광받고 있는데요. 그 중에 하나 플랫폼인 lmstudio AI를 소개드립니다.

lmstudio AI는 다른 전문가분들이 공유주신 "ollama"처럼 간단한 설치로 다양한 model 의 사용이 가능합니다.

ollama와 조금 다른 점은 UI가 직관적으로 잘 되어있어서, 좀 더 이쁘게(?) 활용이 가능합니다.

또한 개인 컴퓨터 사양에 따라 가능한 모델에 errror를 발생시켜 괜한 고생을 덜어주는 고마운 기능도 있었습니다.

위는 lmstudio의 홈페이지로 간단하게 설치가 가능합니다.

https://lmstudio.ai/

설치하게 되면 홈 화면에 Gemma의 2B 짜리 경량화 모델이 있습니다. 용량은 2.7Gb 정도 하네요.

여기서 ChatGPT와 기능 차이를 조사해볼 예정입니다.

( 최근에 나온 model 인 Mistral / llama 등 다양한 모델들이 사용하기 편하게 되어있습니다. )

3번째 Tab에 LLM 모델을 활용해 대화가 가능하며 우측에서 hyper-parameter 설정도 가능합니다.

특히 mac gpu 활용이 번거로운데, 간단하게 활용할 수 있어 편리했습니다.

gemma 2B가 gpt 3.5 와 비슷한 성능을 낸다고 하는데, 제가 보기엔 Gpt4 만큼 괜찮은 성능을 나타내는 것 같습니다.

• Gpu를 사용하지 않아도 꽤나 빠릅니다.

개인적으로는 Ondevice에 활용할 model로 괜찮을 것 같습니다.

https://blog.google/intl/ko-kr/products/explore-get-answers/-gemma-open-models-kr/

자세한 사항은 위 Google Blog을 참조하시면 좋을 것 같습니다.

GPT4.0 vs Gemma 2B

https://openai.com/blog/disrupting-malicious-uses-of-ai-by-state-affiliated-threat-actors

OpenAi 의 기사를 하나 제공하고 내용을 한글로 요약하도록 요청했습니다.

GPT4.0은 빠른시간에 깔끔하게 잘 정리해주었습니다.

그에 반에 Gemma는 굉장히 오랜시간이 걸렸고(3분 정도) 한국어는 조금 떨어지는 것으로 보입니다.

그럼 좀더 짧은 data와 영어로 답변을 얻어보겠습니다.

GPT4.0

Gemma

여전히 한글은 부족하군요..

좀더 써봐야할 것 같습니다 ㅎㅎ

하지만 2B의 경량화 모델에 비해서는 최고사양이라고 하니, Ondevice에 잘 활용한다면 좋은 제품을 만들 수 있지 않을까 싶습니다.

감사합니다.