DEVOCEAN

자동차 매뉴얼의 효율적 검색과 사용자에게 친화적인 대화형 인터페이스를 제공하기 위한 시스템 데모 버전 개발 목표

• 텍스트와 이미지로 구성된 매뉴얼 데이터를 기반으로 LLM과 RAG를 조합하여 사용자 질문에 최신 정보로 정확한 답변을 제공합니다.

• 도메인 특화된 RAG 를 사용하여 답변을 생성하고, 사용자가 확인 가능한 출처(매뉴얼 페이지)를 제공해 신뢰성과 편의성을 높입니다.

• LLM 을 사용하여 단순 검색이 아닌 전체 질문 맥락을 이해한 맞춤형 답변을 생성합니다

• 텍스트와 이미지를 함께 제공하여 사용자 경험을 향상시킵니다.

• 매뉴얼 데이터를 효율적으로 처리 및 관리하고, 신규 매뉴얼 추가나 매뉴얼 업데이트에도 유연하고 빠르게 대응합니다.

  
  

시스템 구조

• Data Search: RAG를 호출하여 사용자의 요청과 관련된 매뉴얼 검색 결과를 얻어옵니다.

• LLM: 사용자의 요청과 Data Search 로 부터 받은 검색 결과를 조합하여 사용자에게 전달될 응답을 생성합니다.

• Template: 검색 결과의 meta 정보와 Meta Server 를 호출하여 얻은 정보로 사용자에게 제공될 template을 생성합니다.

• 자동차 매뉴얼 처리(회색 음영): content 와 meta 파일로 구분하여 처리합니다.

  • content 파일: RAG 를 구성하기 위한 text 로 검색 결과 단위의 chunk 로 나눈 뒤 vector 형태로 변환하여 저장됩니다.

  • meta 파일: RAG 검색 결과의 부가 정보를 구성하는 정제된 데이터로 Meta Server 및 CDN에 저장됩니다.

• CDN: 검색결과와 관련된 정적인 부가정보(예: 이미지)를 저장하고, 사용자에게 전달합니다.

• Meta Server: RAG 관련 meta 를 저장 및 제공합니다.

• RAG: vector 형태로 변환된 매뉴얼 데이터를 저장하고, 사용자의 요청에 적합한 검색 결과를 제공합니다.

  
  

위 시스템으로 기반 테스트 결과

항후 개선 및 고도화해야 할 부분

• 텍스트 처리: 다양한 형태의 표, 다단으로 작성된 페이지 등 정형화되지 않은 규격으로 작성된 텍스트의 데이터 생성

• 이미지 처리: 검색 결과에 포함된 이미지를 LLM 이 이해할 수 있는 방식으로 데이터 생성

• 이미지와 텍스트의 연간 관계: 매뉴얼 특성 상 밀접한 연관 관계를 가질 수 밖에 없는 텍스트와 이미지 간 정확한 관계를 맺어주는 작업

  • 예:
    

• LLM 이 사용한 검색 정보 판별: RAG 검색 결과에서 LLM 이 사용자 응답을 생성하기 위해 사용한 정보와 여기에 해당하는 meta 정보를 찾는 작업

• 부정확한 검색 결과: 사용자의 입력과 무관한 정보가 검색되면 이를 기반으로 답변을 생성해야 하는 LLM 입장에서도 부정확한 정보를 제공할 수 있음

• 검색 결과의 정렬: 한 건 이상의 검색 결과가 나온 경우 LLM 에 전달해야 할 결과를 정렬하는 작업

• 이미지 검색: 차량 경고등과 같은 이미지 자체를 검색할 수 있는 기능

  • 예:
    

• 운영 자동화: 매뉴얼 내용 업데이트 시 RAG 데이터와 meta 정보 간 연간 관계 갱신 작업

  
  

데모 시스템 구축으로 더 나은 서비스를 제공할 수 있음을 확인했습니다.

• RAG가 특정 도메인의 정보를 제공하는 데 있어 LLM의 답변 성능에 큰 도움을 줄 수 있음을 확인했습니다.

  특히 매뉴얼과 같은 기술문서나 외부에 공개되지 않은 문서 등을 다룰 때 RAG의 활용이 효과적일 것이라고 생각합니다.

• 이미지나 페이지 번호 등 검색과 관련된 meta 정보를 같이 제공하여 사용자의 이해도를 높일 수 있었습니다.

  제조사에서 제공하는 유튜브 동영상 링크를 제공하는 방식도 가능합니다.

• 앞서 기술한 어려운 부분들을 해결하여 Adot Auto 에 적용하는 것을 목표로 하고 있습니다.