DEVOCEAN

안녕하세요, 데보션 오픈랩 2기 [AI 시대 자동화 시스템과 대화하는 새로운 방법]입니다.

12월 3일자로 저희도 마지막 스터디를 진행했습니다.

그래서 본 포스팅에서는 AI 시대 자동화 시스템과 대화하는 새로운 방법에 대해서 제가 생각한 이 스터디의 결론을 "안전(Safety)"이라는 관점에서 얘기해보고자 합니다.

그럼 시작해보도록 하겠습니다.

대형언어모델의 안전성 문제

현재 시점에서 가장 많이 활용되는 AI는 당연코 대형언어모델(Large language model)일 겁니다.

그러나, 대형언어모델의 경우에는 안정성에 문제가 있습니다.

가장 잘 알려진 문제는 잘못된 지식을 조합해내는 할루시네이션이죠.

그 외에도, 언어 모델의 안전장치를 우회하여 유해한 콘텐츠를 유도하는 악의적 프롬프트 혹은 학습된 데이터, 사용된 프롬프트를 추출하는 등 불법적인 생성을 유도하는 사용의 문제들이 있습니다.

대형 언어 모델을 이용해 시스템을 만들때는 이러한 안전 문제에 대해서 신경을 쓰고 고민을 해야 합니다.

Figure 1. Common types of red team attacks on AI systems (출처 : google blog)

그래서 현실에서는 성능 만렙을 찍은 대형언어모델보다 다음과 같은 모델이 필요할 수도 있습니다.

"높은 지식은 필요 없이 그냥 내가 하는 서비스만 사람처럼 잘 수행해주는 AI"

아래 경우에도 이 AI가 수행할 서비스가 아닌 갑자기 다른 질문을 한다면 그냥 거절하는게 좋겠죠. (안좋은 서비스긴 하지만)

Figure 2. 로맨스 스캠을 챗지피티로 만들어서 생긴 문제 - 활용 범위 바깥에도 대답해서 챗지피티인게 들통난 사례

챗지피티를 서비스 범위 밖을 거절하게 하는 기능이 있었다면 이 스캠러는 성공했을지도요.

온톨로지 기반의 안전한 AI 시스템

그래서, 서비스 범위 내에서만 작동하고 원치않는 대답은 제한할 수 있는 방법이 필요합니다.

저희는 온톨로지를 기반으로 안전한 AI를 만들 수 있는 방법을 고민하였습니다.

안전성이 필요한 문제로는 두통 진단 문제를 선택했었죠.

(환자의 정보가 잘못해서 유출되거나 진단 과정에서 할루시네이션이 이뤄지면 큰일이니깐요.)

즉, 환자의 두통 진단만 해주는 안전한 AI 시스템을 만들고자 했습니다.

저희가 만든 시스템을 소개하기 앞서, 우선은 대형언어모델 기반의 시스템으로부터 안전한 AI 시스템을 어떻게 구축을 하는지부터 얘기해보려 합니다.

기존 대형 언어모델 시스템으로 두통 진단 시스템의 경우에는 위와 같이 대형언어모델에 질문을 전달하고, 대형언어모델이 응답을 했었습니다.

이 방식은 위에서도 언급했듯이 안정성 측면에서 문제가 있습니다. 그래서 다음과 같이 RAG를 이용해 보완할 수 있습니다.

RAG로 보완할 경우 사실 정보가 근거가 되기 때문에 할루시네이션 문제를 어느 정도 보완할 수 있습니다. 그러나, 이 방법은 완벽하게 안정성을 보장할 수 없습니다.

예를들어, 질문을 통해 프롬프트를 망가뜨린다거나 수집한 정보를 잘못 활용해 할루시네이션이 발생하는 경우 등에 대처가 안되죠.

그래서 저희 스터디에서는 다음과 같은 구조를 제안했었습니다.

환자가 질문을 했을때 대형언어모델은 질문을 받아 이를 쿼리 형태로 전달하여 쿼리가 실행된 결과를 받는 방식입니다.

우선 조금 더 상세 설명을 드리자면,

우선 사용자는 대형언어모델에게 질문을 합니다.

대형 언어 모델은 질문을 받아 온톨로지에서 실행될 쿼리를 만들기 위해 개체명을 추출합니다.

(쿼리의 경우 시스템에서 수행할 서비스들을 미리 쿼리로 작성해놓았고 개체명(named entity)만 변화시키는 방식으로 이뤄집니다.)

저희의 경우 아래와 같이 대형언어모델을 이용하여 사용자의 질문에 대해서 증산과 증상의 지속 시간을 추출했습니다.

작성된 쿼리는 온톨로지에서 실행되어 추론을 진행하여 진단 결과가 나오게 됩니다.

위 AI 시스템이 안전한 이유?

• 온톨로지 상에 구현된 서비스만 이루어지기 때문에 사용자가 저희가 설계한 의도가 아닌 다른 의도로 접근할 경우 동작하지 않습니다. -> 프롬프트 해킹, 데이터 추출 등이 없습니다

• 추론 결과가 온톨로지로부터 주어지기 때문에 안전합니다. -> 할루시네이션 문제, 의도하지 않은 응답 등이 없습니다

대형언어모델의 장점인 제너럴한 사용자 입력을 받을 수 있다는 점을 보존하면서도 온톨로지를 이용해 시스템의 사용 용도를 목적에 제한시키면서 또한 안정성 문제도 보완할 수 있었던 거죠.

저희는 스터디를 초기 목적이었던 AI 시대 자동화 시스템과 대화하는 새로운 방법을 이런 식으로 탐구하면서 마쳤었습니다.

더 자세하고 재밌는 얘기가 데보션 스터디 발표날에 나오니깐 저희 스터디 발표도 많은 관심 부탁드립니다!