DEVOCEAN

• OpenAI DevDay 2023에서 소개된 OpenAI Advanced RAG 사례에 적용된 기술들을 분석해 보고자 합니다.

• OpenAI에서 제시한 Advanced RAG는 기본 RAG에 Data index 최적화, Pre-Retrieval(Query 최적화), Post-Retrieval(검색된 context 최적화) 기술이 추가되었습니다.

• 기본 RAG와 비교된 그림을 보면 다음과 같으며, 적용된 기술들 중, Pre-Retrieval(Query 최적화), Post-Retrieval(검색된 context 최적화) 기술들의 상세 사항을 살펴 보겠습니다.

  
  

  (소스 : https://youtu.be/ahnGLM-RC1Y)

Pre-Retrieval - HyDE

• HyDE는 Hypothetical Document Embedding의 약자로 사용자 query를 Vector DB와 같은 지식 검색소 검색 전, LLM에 주입하여 가상의 답변을 얻고,

  query 대신 가상 답변으로 검색하여 Context를 얻는 기술입니다.

• 가상 답변은 query 대비, 풍부한 정보를 담고 있어 지식 검색 시, 더 많은 정보를 담은 context를 얻을 수 있습니다.

  
  

  (소스 : https://medium.aiplanet.com/advanced-rag-improving-retrieval-using-hypothetical-document-embeddings-hyde-1421a8ec075a,

  https://python.langchain.com/v0.1/docs/use_cases/query_analysis/techniques/hyde/)

Pre-Retrieval - Multi-query

• Multi-query는 LLM을 사용하여 주어진 사용자 입력 쿼리에 대해 다양한 관점에서 여러 쿼리로 생성하여 검색함으로써

  기존 단일 검색의 한계를 극복하고 더 풍부한 결과를 얻을 수 있는 기술입니다.

  
  

  (소스 : https://teetracker.medium.com/langchain-llama-index-rag-with-multi-query-retrieval-4e7df1a62f83,

  https://python.langchain.com/v0.1/docs/modules/data_connection/retrievers/MultiQueryRetriever/)

Pre-Retrieval - Text-to-SQL

• Text-to-SQL은 LLM을 사용하여 주어진 입력 쿼리를 SQL로 변환함으로써 Vector DB 외에도 RDBMS를 검색 가능케하는 기술입니다.

  
  

  (소스 : https://python.langchain.com/v0.1/docs/use_cases/sql/quickstart/)

Post-Retrieval - Rerank

• Rerank는 LLM이 처리가능한 제한적인 context window 크기로 인해, retrieval 후 질문과 좀 더 관련 높은 context들을 순위 조정하여 검색된 context가 잘리는 이슈 등을 대비하는 기술입니다.

• Rerank 종류로는 Rerank model-based(Cohere, bge-reranker 등), LLM-based, Rule-based(diversity 등) 방식이 있습니다.

  
  

  (소스 : https://python.langchain.com/v0.1/docs/integrations/retrievers/cohere-reranker/)

답변 정확도 개선

• 기본 Vector search 대비, Advanced RAG 기술 적용에 따라 답변 정확도가 최대 98%까지 증가되는 결과를 얻었습니다.

  
  

  (소스 : https://youtu.be/ahnGLM-RC1Y)

결론

• OpenAI devday 2023에서 기본 RAG 파이프라인에 Pre-Retrieval(Query 최적화), Post-Retrieval(검색된 context 최적화) 같은 기술들을 적용하여

  답변 정확도를 향상 시키는 사례를 확인할 수 있었습니다.

• LLM은 최종 답변 생성 외에도, Pre-Retrieval, Post-Retrieval 기술에도 적용됨을 알았고,

  이는 GPU와 같은 가속 solution이 추가적으로 적용될 수 있는 기회임을 예상할 수 있을 것 같습니다.