[LLMRec/논문리뷰] Unifying Generative and Dense Retrieval for Sequential Recommendation

❗ 이 논문을 이해하기 위해선 RQ-VAE에 대한 지식이 필요합니다. 관련 논문 리뷰는 여기! 를 참고하세요

 

1. 논문 기본 정보

• 논문 제목: Unifying Generative and Dense Retrieval for Sequential Recommendation
• 출처: 2024, Meta AI에서 발표
• 핵심 키워드: Sequential Recommendation, Generative Retrieval, Dense Retrieval, Hybrid Model, Cold-Start Problem

 

2. 핵심 내용 요약

연구 배경과 목적

• 문제 정의:
  • Dense Retrieval은 높은 추천 성능을 제공하지만 저장 공간 및 계산 비용이 크며, Generative Retrieval은 효율적이지만 성능(특히 cold-start 문제)에서 부족함.
  • 두 접근법을 공정하게 비교한 연구가 부족하며, 이를 해결하기 위해 두 방법의 장점을 결합한 하이브리드 모델을 제안.
• 목적: Dense Retrieval과 Generative Retrieval의 장단점을 결합하여 효율성과 성능을 모두 개선한 추천 시스템 모델을 개발.

 

사용한 방법론

• LIGER라는 하이브리드 모델 제안:
  1. Generative Retrieval로 후보군을 생성.
  2. Dense Retrieval로 순위를 매겨 최종 추천.
• Dense Retrieval은 임베딩 기반 내적 연산으로 추천하며, Generative Retrieval은 Semantic ID를 예측.
• 데이터셋:
  • Amazon (Beauty, Sports, Toys), Steam 등 소규모 데이터셋 사용.
  • 데이터를 5-core 필터링 후 전처리해 사용.
• 모델 구조:
  • Generative Retrieval은 T5 기반 Transformer 사용.
  • Dense Retrieval은 동일한 데이터셋과 임베딩 구조를 활용해 공정한 비교 진행.

 

주요 결과

• 성과:
  • LIGER는 Dense Retrieval과 Generative Retrieval 모두를 초월하거나 유사한 성능을 보임.
  • 특히 cold-start problem에서 기존 방법보다 뛰어난 성과를 보여줌.
• 지표:
  • Recall@10, NDCG@10을 사용해 성능 평가.
  • LIGER가 Generative Retrieval 대비 평균 20% 이상 성능 향상.

 

적용 분야

• 전자상거래 추천: 사용자의 과거 상호작용 데이터를 기반으로 제품 추천.
• 콘텐츠 추천: 영화, 음악, 또는 게임과 같은 분야에서 개인화 추천 가능.
• 다양한 cold-start 문제 해결이 필요한 추천 시스템.

 

한계점 및 향후 연구

• 한계점:
  • 논문에서 사용된 데이터셋은 소규모 학술 데이터셋으로, 대규모 산업 환경에 직접 적용하는 데 한계가 있음.
  • Generative Retrieval이 여전히 Dense Retrieval 대비 성능에서 미세한 차이가 있음.
• 향후 연구 방향:
  • 대규모 실제 데이터셋에서의 모델 검증 필요.
  • Generative Retrieval의 cold-start 성능을 개선하기 위한 추가 연구.
  • Dense Retrieval과 Generative Retrieval 간의 효율적 통합을 위한 최적화 연구.