DEVOCEAN

안녕하세요 😃

SKT AI Fellowship 6기 “AI 데이터분석가 도입을 통한 데이터 인텔리전스 실현” 과제를 수행한 고스체인 팀입니다.

지난 10월 31일 최종 발표를 마지막으로, 약 6개월간의 펠로우쉽 과제 수행을 마무리하였습니다.

펠로우 자격으로 데브오션에 글을 쓰는 마지막 시간이 되었습니다.

이번 글에선 저희 팀이 수행한 과제가 무엇인지, 어떠한 새로운 AI 기술을 만들었는지를 말씀드리고 그 결과와 기술 활용 사례를 공유드리려 합니다.

다만, 현재 글을 처음 게시하는 시점에서는 특허 출원과 논문 심사가 진행 중인 상황이라,

당장 현 시점에서 기술적 개발 부분, 성능 결과 관련한 내용들을 담아내지 못하게 된 점을 미리 양해의 말씀을 드리고자 합니다.

특허 출원, 논문 심사가 마무리가 되는 대로 생략된 부분을 채우도록 하겠습니다.

과제 배경

DL이 아닌 ML류의 모델들도 여전히 중요하게 쓰이고 있습니다.

이는 DL에 비해 ML이 가지는 더 나은 장점들에 기인합니다. (빠른 학습 속도, 가벼운 리소스, 모델의 높은 해석 가능성)

이런 장점들은 데이터 기반의 의사결정을 내리는 데 큰 역할을 하게 됩니다.

따라서 높은 성능의 머신러닝 모델을 구축하는 것은 대단히 중요하게 되고, 이를 위해선 모델 측면, 데이터 측면 각각에서 많은 작업들을 하게 됩니다.

그런데, 실제 현업에서는 모델의 학습 절차뿐만이 아닌, 아래 사진1)과 같이 MLOps 차원 등 학습 이외의 전사적인 시스템도 고려해야 해 현실적으로 모델링 학습 자체에만 신경을 쓰기엔 어려운 상황입니다.

(ML)파트 뿐만이 아니라 (Ops)도 고려하지 않을 수 없음을 모식도를 통해서 알 수 있습니다.

문제 정의 및 해결 과정, 결과

✔️ 문제 정의

이러한 상황에서, 어떻게 머신러닝 모델의 성능을 높일 수 있을지 고민하게 됩니다.

머신러닝 모델의 좋은 성능을 달성하기 위해선 데이터의 질을 높이는 방안이 있습니다.

그 중 중요한 축을 이루는 부분이 피처 발굴입니다.

매우 간단한 예시로, 아래와 같이 Price, Sales, Category 변수가 데이터에 존재한다고 생각해 봅시다.

모델링 혹은 데이터 분석에 중요한 도움이 되는 정보라 판단되는 관계를 생각하고, 이를 토대로 새로운 변수를 만듭니다.

가령 아래의 노란색 음영처럼 가격과 판매량의 비율, 각 변수의 정규화된 값 등을 생각할 수 있습니다.

만약 이들을 추가해 머신러닝 모델을 적합하였는데 모델의 성능이 향상되면 좋은 피처를 발굴한 것이라 할 수 있습니다.

피처를 새롭게 발굴하는 것은, 데이터 사이언티스트의 전문 지식, 다년간에 축적된 노하우 등이 포함된 종합적인 사고 과정을 요구합니다.

이런 사고 과정을 도맡아 피처 발굴 역할을 수행하는 LLM을 만들어, AI 기반의 데이터 인텔리전스를 실현하자는 것이 저희 팀의 최종 과제 목표가 되었습니다.

• 부가적으로, DB에서 데이터를 추출하는 간단한 sql쿼리를 반환하는 수준의 LLM도 간단하게 만들어 데이터 업무 효율화를 기여하고자 하였습니다.

  
  

✔️ 해결 과정 및 결과, 활용 방안

위의 문제들은 여러 데이터 분석과 관련한 문헌, 자료들을 토대로 LLM, 최신 AI 기술들을 활용하여 저희가 정의한 문제를 해결할 수 있었습니다.

이전 중간 연구 진행 상황을 기준으로 간략하게 정리해 보면,

사내 보안 문제, 리소스 자원 문제를 염려하여, 로컬에서도 충분히 사용할 수준의 소형 sLLM 모델을 이용해 거대 언어 모델에 준하는 능력을 가질 수 있도록 하였습니다.

또한, 새로운 피처를 발굴하도록 모델 학습과 더불어 더 나은 LLM을 만들 수 있도록 여러 조치들을 취하였습니다.

서두에 말씀드린 대로, 당장 이 부분에 대해서는 추후 특허와 논문 절차가 마무리가 되는 대로 이 부분에 대해 자세히 수정해서 적을 계획입니다. 😭

마무리, 참여 소감

펠로우쉽 모집 공고부터 최종 발표까지, 약 6개월간의 시간을 통해 과제를 마무리하였습니다.

아쉬움도 남지만, 그만큼 저희 펠로우들은 이번 프로젝트의 경험을 소중하게 간직하고, 각자의 다음 목표를 향해 더 성장하고자 합니다.

지금까지 과제를 위해 힘써주신 저희 고스체인 팀 멘토님들께도 다시 한번 감사의 말씀을 전하고 싶습니다.

끝으로 저희 팀 펠로우들의 개인적인 소감으로 마무리를 하겠습니다. 대단히 감사합니다.

• 처음 과제를 시작하게 될 때는 너무 어렵게 느껴지고, 과연 원하는 대로 LLM을 만들 수 있을까라는 근심과 걱정이 없었다고 하면 거짓말입니다.

  하지만 저희 고스체인 팀 팀원들, 그리고 멘토님들이 큰 힘이 되어 주어서 잘 과제를 마무리할 수 있었습니다.

  저에겐 6개월이 질적으로 더 성장한 사람이 될 수 있었던 소중한 시간이었습니다.

  
  

• 6개월이라는 긴 시간 동안 힘든 순간도 많았지만, 그만큼 즐겁게 배우고 다양한 실험을 할 수 있었습니다.

  SKT AI Fellowship 덕분에 소중한 기회를 가질 수 있었고, 이를 통해 한층 더 성장할 수 있었음을 느낍니다.

  많은 지원과 배움의 기회를 제공해 주신 SKT AI Fellowship 관계자분들께 진심으로 감사드리며, 앞으로도 이곳에서 배운 것들을 바탕으로 더욱 발전해 나가고자 합니다.

  
  

• 요즘 많은 기업들이 AI를 통해 업무를 자동화하거나, 고객들에게 AI서비스를 제공하기 위해 투자를 확대하고 있습니다.

  특히 ChatGPT등을 통해 개인의 업무나 일상에서 AI와의 협업이 자연스러워지고 있는데요,

  앞으로는 AI와의 협업이 특정 기업이나 분야에 국한되지 않고 더 넓은 영역으로 확대될 것으로 기대합니다.

  SKT AI Fellowship은 이렇게 AI가 더 넓은 영역에서 적용되고, 인간과의 협업 가능성을 높이는데 기여할 수 있는 프로젝트였다고 생각합니다.

  이런 소중한 기회를 주신 분들께 감사드립니다.

  또한 지난 6개월간 매주 미팅하며 성장할 수 있게 도와주시고, 좋은 인연을 쌓았던 멘토님들께도 정말 유의미하고 즐거운 시간이었다고 말씀드리고 싶습니다.

  저는 앞으로도 AI, 특히 LLM분야에서 더 많은 가능성을 탐색하면서 AI 성장 과정을 함께할 수 있도록 노력하고 있겠습니다. 감사합니다.

참고문헌

1. Google Cloud, 2024, MLOps: Continuous delivery and automation pipelines in machine learning