DEVOCEAN

안녕하세요.

SK Hynix의 김병도 입니다.

이번 포스팅은 제가 사내에서 LLMops를 운영&개발하면서 느꼈던 필수 요건, 팁 등을 공유드리겠습니다.

(사내 보안관련 코드 등은 공유드리지 못해 죄송합니다. 이미 충분히 잘하실 것으로 믿습니다.)

Chat PPT

Chat PPT는 대중적으로 나와있는 PPT 분석기와 매우 유사합니다.

VLM(Vision Model)이 슬라이드 마다 API를 호출하여 분석 후 결과를 출력하며, 이 결과들을 User Prompt에 넣고 LLM을 통해 결과를 호출하는 프로그램입니다.

크게 1. 목표 설정 / 2. 개발 과정 / 3. 품질 향상 과정 으로 구성 하였습니다.

1. Chat PPT 목표 설정

1. 회사에서 제공하는 API를 활용 ( Qwen2-VL-72B / Llama3.3_70B ) * 유동적 변경

2. API가 Local LLM이기에 보안 제약이 없음.

3. 많은 구성원이 '필요'로 하는 기능과, 쉽게 접근 할 수 있도록 구현

   -- pyinstaller기능을 통한 .exe로 구성(Web은 보안상 불가)

4. 서비스에 Input 될 규격이 항상 일정하고, 사내 가장 많은 자료를 갖고 있는 PPT를 공략

5. 매우 전문적이고, 숫자하나, 단어하나 놓치지 않고 출력 할 수 있도록 구성

6. 단순히 단어 뿐아니라 그림, 모식도,도표 등을 이해하고 출력 할 수 있도록 Fine Tunning

7. 속도 vs 정확성에서 전문적인 지식을 도출하는 만큼 정확성을 선택.

2. Chat PPT 개발 과정

1. DRM으로 인해, 일방적으로 PPT를 읽는 것은 불가능.

   -- PPT를 한 장씩 클립보드에 담아 VLM으로 보내는 방식 채택

2. DPI 고정을 통해 캡쳐된 PPT의 화질이 손상되는 것을 예방

3. LLM Api 부하가 걸리지 않게 break time 설정 및 한장 씩 호출 - 결과 추출을 반복

4. 프로그램 GUI 구성

   -- Progress : 각 SIlde 마다 데이터 추출 진척사항, 에러 등을 보여주며, 종료 후 csv 형태로 저장

   -- ASK : 추출된 Data 기반 질의기능 구성

   -- 안내사항 / 설명서 구성

5. ASK 답변에는 200 page 이상 추출된 Data가 한 번에 Input 가능한 LLM 사용

3. Chat PPT 품질 향상 과정

1. 가 Open 이후 주변 동료에게 Feedback 요청

2. 한문, 형상문자 출력 / 디테일한 정보 부족 / 숫자 추출 부정확 / 도표 이해 / 그림 이해 등 많은 문제를 해결필요

   -- VLM의 메타인지를 위해 System Preprompt에 들어갈 내용을 ChatGPT를 통해 생성.

   -- 질문 예시) "나는 Skhynix 반도체 회사에 다니는 LLMops 개발자야.

   회사내 전문적인 지식을 기반으로 만들어진 PPT를 Vision Model 에게 질의하여 최대한 자세한 답변을 받고 싶어.

   0000등을 정확히 추출할 수 있도록 Pre-prompt 를 영어로 작성해줘."

3. Temperature = 0.1 ( Max 0.15)

4. VLM 성능 향상을 위해 답변은 최대한 영어로 하되 의미를 최대한 살리게함(최종 답변은 한글로)

5. 실제 자료 추출 결과와 비교해가며 다시 1번부터 품질향상 과정 진행 반복

다음 이야기 : Progress에 저장된 데이터를 기반으로 Graph-RAG 구성

제가 실제로 사내에 Chat PPT라는 프로그램을 구현했던 개발과정을 담았으며,

사용 친화적이고 Error 나 할루시네이션 등이 최소화되는게 중요하다고 생각합니다. 사용 중 부정확한 성능이나, 불만이 생기면 사용자는 빠르게 이탈하기 때문입니다.

오직 글로만 존재하여 지루하셨겠지만, 개발 과정에서 도움을 드릴게 있을까하여 내용을 담았습니다.

필요하신 내용은 답글연락주시면 답변드리겠습니다.

읽어주셔서 감사합니다.