DEVOCEAN

소개

Better RAG를 위한 여러가지 방법중 Query Expantion 방법중 하나인 HyDE(Hyphothetical Document Embeddings) 에 대해 소개합니다.

아이디어

**

HyDE(Hypothetical Document Embeedings)는 검색을 개선하기 위한 여러 Query Expantion 방법중 하나의 접근 방식으로,

사용자 입력 질문에 대한 답변에 사용할 수 있는 가상의 문서를 생성합니다.

이러한 가상의 문서는 LLM 을 이용하여 생성하고, 워드 임베딩하여 vector store 공간에서 유사도 검색을 수행하여 RAG에 필요한 맥락(Context) 정보를 제공합니다.

이 아이디어의 핵심은 가상의 문서가 실제 사용자 질문보다 유사도 검색 정확도 측면에서 더 정확할 수 있다는 것에서 출발합니다.

동작방식

Standard 방식은 사용자 질의에 대해 워드 임베딩하여 벡터 공간에서 유사도 검색한 결과를 RAG 를 위해 필요한 맥락 정보로 제공합니다.

이에 반해 HyDE는 사용자 질의 대신에 사용자 질의를 LLM (GTP Instruction) 이용하여 가상의 문서를 생성하고, 이를 Vector DB 유사도 검색한 결과를 RAG의 맥락 정보로 활용합니다.

위 예제를 살펴보면, User Prompt 에 보통 사용자 질의를 그대로 Retrieval 에 전달하여 유사도 검색을 수행하지만,

여기서는 HyDE가 사용자 쿼리에 대한 가상 문서를 생성하여 Retrieval로 전달하게 됩니다.

사용자 쿼리

How to use multi-modal models in a chain and turn chain into a rest api

가상문서

To use multi-modal models in a chain and turn the chain into a REST API, you can leverage the capability ...

Precise Zero-Shot Dense Retrieval without Relevance Labels

많은 Embedding Retriever 가 유사도 검색이 되지 않는 새로운 도메인 데이터에 대해서는 일반화가 되어있지 않습니다.

이를 위해 HyDE 접근 방식을 이용하여 문제를 해결할 수 있습니다.

사용자 쿼리가 주어지면 가상 문서 임베딩(HyDE)은 먼저 Zero-Shot으로 Instrcut GPT 방식으로 초기 사용자 쿼리에서 관련 텍스트 패턴을 캡처하는 '가짜(fake)' 가상의 문서를 생성합니다.

실제로는 이 작업은 각 사용자 쿼리에 대해 5번 수행합니다.

그런 다음 각 가상의 문서를 워드 임베딩하고 평균값을 계산한 단일 임베딩 값을 유사도 검색 알고리즘(ANN)을 이용하여 이웃 임베딩 문서들을 검색하여 가져옵니다.

다른 검색기와 마찬가지로 이렇게 검색된 문서는 파이프라인의 다운스트림(예: RAG용 생성기)에서 사용할 수 있습니다.

더 자세한 정보는 “Precise Zero-Shot Dense Retrieval without Relevance Labels” 논문에서 확인 가능합니다.

위 논문의 An illustration of the HyDE model 그림을 요약하면

1. 주어진 유저 질의를 LLM(Instruction GTP)에게 주입하여 n 개의 hypothetical document 형태의 (fake) answer를 생성합니다.

2. n개의 document 를 unsupervised encoder 를 활용해 embedding합니다.

3. embedding 한 결과값들을 mean 하여 나온 벡터값을 기반으로 vector store 의 real document 와 유사도를 비교한 뒤, RAG을 위한 context로 활용 합니다.

   (Hallucination을 막기 위해 평균을 취하는 방식으로 진행하고 있음)

HyDE 는 언제 도움이 되나요?

HyDE 이럴때 사용하면 유용합니다.

• RAG 파이프라인에서 Retriever 성능이 충분하지 않은 경우 (예: 낮은 Recall Metric).

• 검색 단계에서는 쿼리를 입력으로 사용하여 더 큰 문서를 기반으로 문서를 반환합니다.

• 특히 데이터(문서 또는 쿼리)가 retriever가 학습하는 일반적인 데이터 세트와는 매우 다른 특수한 도메인에서 온 경우 시도해 볼 가치가 있습니다.

Ref

• # Precise Zero-Shot Dense Retrieval without Relevance Labels

• # Hypothetical Document Embeddings (HyDE)

• RAG from scratch: Part 9 (Query Translation -- HyDE)

• OpenAI Advanced RAG 사례 분석

• Query Translation (HyDE)