[LLMRec/개념] Generative Retrieval이란?

전통적인 문서 검색 방식

• 2-tower 모델을 훈련하여 쿼리(query)와 문서(document)를 동일한 고차원 벡터 공간에 매핑한 후, ANN(Approximate Nearest Neighbor) 또는 MIPS(Maximum Inner Product Search)를 수행하여 가장 가까운 문서를 반환하는 방식
  • 거대한 임베딩 테이블(large embedding table)을 필요로 함 → 단점 확인하기
  • 이러한 문제점을 해결하기 위해 최근 제안된 기법이 Generative Retrieval 임

 

Generative Retrieval 

• 최근 문서 검색(document retrieval) 분야에서 개발된 접근법
• 문서의 제목(title), 이름(name), 또는 문서 ID 문자열(document ID string)을 토큰 단위로 직접 생성하여 검색을 수행

 

검색 인덱스를 학습하는 기법은 과거에도 제안된 바가 있음

The Case for Learned Index Structures

 

 

GENRE : 엔터티 검색(entity retrieval)을 위해 Transformer 기반 아키텍처를 활용하여, 쿼리에서 참조된 엔터티의 이름을 토큰 단위로 생성

Autoregressive Entity Retrieval

 

 

DSI

 

• 문서 검색을 위한 Generative Retrieval 기법으로, 각 문서에 구조화된 의미론적 DocID(Semantic DocID)를 할당.
• 쿼리를 입력받으면 문서의 DocID를 자동회귀(autoregressive) 방식으로 토큰 단위로 생성하여 반환.
• 검색(IR, Information Retrieval) 분야에서 Generative Retrieval 패러다임 전환을 촉진한 최초의 연구이며, End-to-End Transformer를 검색에 성공적으로 적용한 첫 사례.

 

 

Transformer Memory as a Differentiable Search Index

 

 

 

Lee et al. (2022)

 

• Generative Document Retrieval이 Multi-Hop 검색 설정에서도 유용함을 입증
• 복잡한 쿼리(complex query)는 단일 문서로 답변할 수 없는 경우가 많기 때문에, Chain-of-Thought 방식으로 중간 쿼리를 생성하며 최종 답변을 생성하는 모델을 제안

 

Generative Multi-hop Retrieval

 

 

NCI

 

• Tay et al 의 계층적 K-Means 기반 Semantic DocID 구조를 개선.
• 새로운 디코더 아키텍처를 도입하여 Semantic DocID 내 접두사(prefix)의 정보를 효과적으로 활용하도록 개선.

 

A Neural Corpus Indexer for Document Retrieval

 

 

CGR

 

• Bi-Encoder 방식과 Generative Retrieval 방식을 결합하는 방법 제안.
• Encoder-Decoder 기반 모델의 디코더가 문서 정보를 저장하는 별도의 문맥화된(contextualized) 임베딩을 학습하도록 설계.

 

Nonparametric Decoding for Generative Retrieval