DEVOCEAN

안녕하세요,

DEVOCEAN AI Fellowship 7기 9번 과제 MLLMs-RAG를 활용한 Zero/Few-Shot Medical Question Answering 시스템 연구에 참여하게 된 팀 RAGident입니다.

첫 번째 포스트에서는 저희가 해결하고자 하는 문제와 대략적인 계획을 소개드리려고 합니다 :D

1. 연구 배경

누구나 한 번쯤 병원에서 오랜 시간 대기하고, 막상 의사 선생님을 만나서는 짧은 시간 안에 제 증상을 제대로 설명하지 못해 답답했던 경험이 있을 겁니다.

저희 팀은 ‘몸이 그냥 이상해요’, ‘계속 피곤해요’와 같은 환자의 모호한 언어와, 의사가 진단을 위해 필요로 하는 구조화된 정보 사이의 간극을 진료 효율을 저해하는 병목 현상이라고 정의합니다.

위 문제는 어느 한쪽의 잘못이 아닌 환자와 의료 시스템 양측의 구조적 한계에서 비롯됩니다.

환자 측면에서는, 자신의 증상을 의학 용어로 설명하기 어려워 모호한 표현을 사용하게 되고,

어떤 정보가 진료에 중요한지 판단하기 어렵기 때문에 핵심과 무관한 정보를 함께 전달하여 의사의 정보 선별 부담을 가중시킵니다.

의료 시스템 측면에서는, 현재 의료 교육은 ‘잘 정제된 정보’를 해석하고 진단하는 데 집중되어 있기에,

환자의 표현 속에서 핵심 정보를 추출하는 능력은 의사 개인의 경험에 크게 의존합니다.

제한된 진료 시간 안에 수많은 정보의 홍수 속에서 핵심을 필터링해야 하므로, 의료진의 피로도는 극심하게 높아집니다.

이러한 병목 현상은 결국 진료 시간 낭비, 오진 가능성 증대, 환자와 의료진 모두의 서비스 경험 하락이라는 위험 요소로 이어지고 있었습니다.

실제 데이터로 살펴본 결과, 서울시에만 의원급 의료기관이 1만 곳이 넘고, 특히 내과 외래 환자 수는 2,200만 명 이상에 달했습니다. [건강보험심사평가원 공공데이터포털]

시스템 도입에 있어 가장 우선적으로 고려되어야 하는 과는

1. 환자가 증상을 명확하게 설명하지 못하는 경우가 많으며

2. 진단을 위한 세부적인 증상 경과, 생활 습관, 병력 정보가 요구되고,

3. 진료 시간 대비 환자가 많고, 환자 문진 항목이 길고 복잡한 과입니다.

이를 고려해보았을 때 내과 및 소아과, 가정의학과를 주요 타겟으로 고려하고 있습니다.

내과는 증상이 모호한 경우가 많아 저희가 해결하고자 하는 문제와 밀접하게 연결됩니다.

가정의학과는 다양한 질환을 다루며 문진 난이도가 높고, 소아과는 환자가 직접 말하지 못하는 경우가 많아 보호자의 설명에 의존해야 합니다.

2. 연구 목표

저희가 제안하는 솔루션은 'RAG 기반 스마트 사전 문진 시스템'입니다.

환자는 병원 예약 후 또는 대기 중에 모바일 기기를 통해 챗봇 형태의 시스템과 대화를 나누게 됩니다.

이 시스템은 환자의 초기 증상에 따라 "언제부터 아프셨나요?", "과거에 비슷한 증상이 있었나요?"와 같은 질문을 던지며 환자의 모호한 언어를 의사가 필요로 하는 구조화된 데이터로 변환합니다.

이렇게 정리된 정보는 진료 전 의사에게 미리 전달됩니다. 의사는 환자를 만나기 전 이미 핵심 정보를 파악한 상태이므로, 불필요한 문답을 줄이고 더 깊이 있는 진단과 처방에 집중할 수 있습니다.

3. 아이디어

1) DB 구축

본 프로젝트에서는 아래 세 가지 축으로 데이터베이스를 구성할 예정이며, 구체적인 스키마와 활용 기술은 추후 설계 과정에서 최적화할 계획입니다.

• EHR 기반 환자 기록 DB : 주요 증상, 병력, 복용 약물 등 진료 현장에서 수집 가능한 구조화/비구조화 데이터

• 질병 DB : 질병명, 유사 증상, 관련 질문 및 태그 등 질의 생성을 위한 메타 정보 중심

• 대화 로그 DB : 환자-의료진 간의 문진 및 상담 대화 데이터 축적 및 응답 품질 분석을 위한 로그 저장

2) Framework

[Step 1] 환자의 첫 마디 (초기 정보 수집)

• 환자(앱에 텍스트 입력) : "어제 저녁부터 목이 너무 아프고 열이 39도까지 올랐어요. 침 삼키기도 힘들어요."

[Step 2] 증상 분석 및 유력 후보군 검색

• LLM 내부 동작 : 환자의 입력에서 핵심 증상 키워드를 *["인후통", "고열", "삼킴 곤란"]*으로 추출합니다.

• 후보군 검색 : 추출된 증상 키워드 벡터를 RAG DB 전체와 비교하여, 유사 증상의 벡터 유사도가 가장 높은 질환들을 찾아냅니다.

  (만약 모든 후보의 점수가 낮았다면, 시스템은 즉시 문진을 중단하고 전문가 상담을 안내하는 Off-Protocol 경로로 빠집니다. 이는 시스템의 안전성을 위한 핵심 장치입니다.)

검색 결과 (예시)

• 급성 편도염 : 유사도 0.91

• 독감 : 유사도 0.75

• 감기 : 유사도 0.55

→ 경로 결정: 가장 유력한 후보 '급성 편도염'의 유사도 점수가 임계값을 넘었으므로, On-Protocol(가이드라인 기반 문진) 경로로 진행을 결정합니다.

[Step 3] 추가 질문 (가이드라인 기반 심층 문진)

• 질문 로드 : 상위 후보군('급성 편도염', '독감')을 감별하기 위해, DB에서 질병을 감별할 수 있는 질문을 로드합니다.

• 최적 질문 선택 : LLM은 현재까지의 정보(근육통 언급 없음)를 바탕으로, 감별에 가장 효율적인 질문을 선택합니다.

시스템 : "열과 함께 온몸이 쑤시는 듯한 심한 근육통도 있으신가요?"

환자 : "아니요, 몸살 기운은 거의 없어요. 목만 아파요."

…(N번 반복)

[Step 4] 근거 기반 최종 소견 생성

• 누적된 증상 정보와 문진 결과를 바탕으로, LLM이 최종적으로 근거 중심의 의학적 소견을 생성합니다.

최종 생성 리포트 예시

"환자는 고열과 심한 인후통을 호소하며, 추가 문진에서 '심한 근육통은 없음'을 고려할 때, 급성 편도염이 우선적으로 의심됩니다."

근거: 대한이비인후과학회 급성 편도염 임상진료지침 v2.1

3) 평가 지표

평가를 위해 사용할 벤치마크로는 OpenAI가 발표한 HealthBench를 고려하고 있습니다.

HealthBench는 의료 분야에서 AI 모델의 성능과 안전성을 측정하기 위해 만든 새로운 표준 평가 도구(벤치마크)입니다.

단순한 의학 퀴즈가 아니라, 실제 진료 현장에서 발생할 수 있는 복잡한 상황들을 기반으로 AI의 실용적인 능력을 평가하는 데 중점을 둡니다.

아래 표에서 볼 수 있는 바와 같이, LLM의 Context Seeking 성능을 항목별로 비교할 수 있어,

실험을 통해 해당 지표에서 가장 우수한 모델을 활용해 질병 관련 질문을 보다 정교하게 생성하고자 합니다.

*Context Seeking: 필요한 맥락을 스스로 요청하는 능력

[출처]

• https://openai.com/index/healthbench

• https://arxiv.org/abs/2505.08775

4. 연구 일정 및 계획

저희의 연구 일정은 아래와 같습니다.

멘토님과 상의 후 RAG DB 및 Retriever 모듈 구축 등 기본 워크플로우 구현을 병렬적으로 진행하기로 하였으며, 7월부터 MLLM을 연동한 PoC와 심층 문진 로직 고도화를 진행할 예정입니다.

5. 팀소개

마지막으로 저희 팀을 소개하며 마무리하겠습니다 :)

팀 RAGident는 국민대학교 AI빅데이터융합경영학과에 재학 중인 학부생으로 이루어진 팀입니다. 강현정 멘토님과 안지용 멘토님의 지도와 함께 좋은 결과 만들 수 있도록 노력하겠습니다!

나를 죽이지 못하는 고통은 나를 성장시킨다!! 렛츠 꼬우～