[LLMRec/논문리뷰] Exploring the Impact of Large Language Models on Recommender Systems: An Extensive Review

이 글은 LLM 기반 추천 시스템 review paper를 읽고 작성한 글입니다. LLM 기반 추천 시스템의 최근 트렌드와 전반적인 개요에 대해 파악하고 싶으신 분들에게 도움이 될 수 있도록 논문의 주요 내용을 정리하고 분석한 내용을 담았습니다.

 

 

논문 기본 정보

• 논문 제목: Exploring the Impact of Large Language Models on Recommender Systems: An Extensive Review
• 링크: https://arxiv.org/abs/2402.18590
• 핵심 키워드: Large Language Models (LLMs), Recommender Systems

 

 

3 LLMs in Recommender Systems

이 섹션에서는 LLM이 사용자 데이터 수집, 특성 엔지니어링, 점수화/랭킹 기능에서 중요한 역할을 하여 딥러닝 기반 추천 시스템을 어떻게 향상시키는지 조사할 것입니다.

 

- 3.1 LLM-Powered Recommender Systems Across Domains

- 3.2 Off-the-shelf LLM-based Recommender Systems

- 3.3 LLMs in Sequential Recommender Systems

- 3.4 LLMs in Conversational Recommender Systems

- 3.5 LLMs in Personalized Recommenders Systems

- 3.6 LLMs for Knowledge Graph-enhanced Recommender Systems

- 3.7 LLMs for Reranking in Recommender Systems

 

3.1 LLM-Powered Recommender Systems Across Domains

LLM을 활용하여 다양한 도메인에서 LLM의 강력한 언어 처리 및 생성 능력을 활용하여 추천 시스템의 성능을 극대화(예 : 기존 추천 시스템의 한계를 보완, Cold Start 문제 해결 등)하는 모델들을 소개합니다.

모델명	모델 유형	특징
LlamaRec	LLM 기반 reranker	- 1단계: 순차 추천 시스템(Sequential Recommender)이 사용자 히스토리를 분석하여 후보 아이템을 효율적으로 선택. - 2단계: 선택된 후보 아이템과 사용자 히스토리를 맞춤형 프롬프트 템플릿을 사용해 LLM에 입력. - Verbalizer 활용: LLM의 출력값(logits)을 확률 분포로 변환하여 추론 속도와 효율성을 높임.
RecMind	LLM 기반 Recommender Agent	Self-Inspiring 알고리즘을 사용하여 전략적 계획 수행
RecRec	CF 추천 시스템에서 알고리즘적 설명을 제공	사용자가 원하는 선호도에 따라 추천 결과를 수정하기 위한 구체적이고 실행 가능한 행동(actionable insights)을 제안.
P5	통합 추천 프레임워크	다양한 추천 작업을 조건부 언어 생성 문제로 변환하여, 맞춤형 프롬프트 기반으로 새로운 추천 작업(제로샷 학습)과 미탐색 도메인에 적응.
RecExplainer	추천 설명 모델	LLM을 추천 모델과 정렬하여 임베딩 기반 추천 결과를 해석하고 설명. 행동 정렬, 의도 정렬, 혼합 정렬을 통해 LLM의 해석 가능성을 강화.
DOKE	도메인 지식 강화 모델	외부 도메인 지식 추출기를 통해 지식을 LLM에 전달. LLM의 이해 가능한 형식으로 변환하여 별도의 파인튜닝 없이 추천 성능 개선.
RLMRec	그래프 및 의미론적 추천 모델	그래프 기반 모델의 한계를 보완하기 위해 LLM을 활용하여 의미론적 공간과 표현 학습을 통합. 불완전하거나 노이즈가 많은 데이터를 처리하는 데 강점.
RARS	검색 및 생성 모델 기반 cold start 문제 해소	검색 기반 모델과 생성 기반 LLM을 통합하여 데이터 희소성 문제를 해결. LLM을 사용해 새로운 상황에서도 적응 가능한 추천 제공.
GenRec	생성형 추천	LLM이 아이템의 상세 설명 데이터를 활용하여 정교하고 개인화된 추천을 생성. 설명 기반 데이터로 더욱 깊은 사용자 참여 유도.
Recommendation as Instruction Following	명령어 기반 추천 시스템	자연어 명령어를 통해 LLM이 사용자 선호를 표현하고 추천을 생성하며, Flan-T5-XL LLM으로 파인튜닝 수행.
Recommender AI Agent	대화형 추천 Agent	LLM을 '뇌'로, 기존 추천 시스템을 '도구'로 사용하여 상호작용적 추천 시스템 구축. LLM은 언어 이해와 추론을, 추천 모델은 실제 아이템 추천을 담당.
CoLLM	CF + LLM 추천 모델	텍스트 의미론(semantic)을 강조하며, 협업 필터링 데이터를 LLM과 결합하여 Cold Start(새로운 사용자/아이템)와 Warm Start(데이터가 어느 정도 있는 상태) 시나리오 모두에서 성능을 개선
POSO	개인화된 Cold Start 추천 모듈	LLM과 다양한 모듈(예: MLP, Multi-Head Attention)을 결합해 cold start 문제 해결. 그룹별로 맞춤화된 게이트와 서브모듈을 도입

 

 

 

 

3.2 Off-the-shelf LLM-based Recommender Systems

 

 

별도의 복잡한 설정 없이 바로 적용 가능한 기성 LLM 기반 추천 시스템을 다룹니다. 특정 환경에서 효율적으로 활용되는 모델 사례와 장점을 제시합니다.

 

모델명	모델 유형	특징
RecAgent	사용자 시뮬레이션 프레임워크	사용자를 자율적 에이전트로 모델링하여 가상 환경에서 사용자 행동 분석을 수행.
MediTab	표 형식 데이터 통합	LLM을 사용해 표 형식 데이터의 스키마를 정렬 및 강화하여 의료 예측 성능을 향상.
ZRRS	제로샷 순위 매김	특수 프롬프트를 사용하여 제로샷 상황에서 후보 아이템의 순위를 매김.
LGIR	이력서 생성 및 직무 추천	LLM과 GAN을 결합하여 고품질 이력서를 생성, 소수샷 인터랙션 문제를 해결.
MINT	내러티브 기반 추천	사용자-아이템 상호작용을 기반으로 내러티브 쿼리를 생성하여 추천 품질 향상.
PEPLER	자연어 기반 추천 설명 생성	사용자 및 아이템 ID를 프롬프트로 사용해 자연어 설명을 생성하며, BLEU와 ROUGE 등으로 품질 평가
LLM4Vis	시각화 추천	ChatGPT를 활용해 최소한의 예제로 시각화와 설명을 생성.
ONCE	하이브리드 콘텐츠 기반 추천	오픈소스와 상용 LLM을 결합하여 콘텐츠 추천 성능을 향상.
GPT4SM	텍스트 의미론 향상	GPT 임베딩을 활용해 추천 작업에서 텍스트 의미를 향상 및 정규화.
TransRec	다중 요소 ID 표현	ID, 제목, 속성 등 다중 요소를 LLM으로 처리하여 고유성과 의미론적 풍부함을 균형 있게 유지.
Agent4Rec	영화 추천을 위한 생성형 에이전트	LLM 기반 생성형 에이전트를 활용해 영화 추천 시뮬레이션을 수행.
Collaborative LLMs	협업 정보 모델링	협업 필터링과 콘텐츠 의미론을 LLM 확장 토큰으로 결합하여 추천 모델의 성능을 강화.

 

3.3 LLMs in Sequential Recommender Systems

고객의 과거 interaction 정보를 바탕으로 next action prediction을 수행하는 개인화된 추천 시스템을 소개합니다.

모델명	모델 유형	특징
PDRec	확산 모델(Plug-in Diffusion)을 통해 사용자 선호를 동적으로 추론. 시간 간격 기반 확산 방식 사용.	데이터 희소성 문제 해결, 과거 행동 가중치 조정, 노이즈 없는 부정 사례 샘플링을 통한 모델 최적화.
G-Meta	GPU 클러스터를 활용한 분산 메타 학습 모델.	하이브리드 병렬 처리와 Meta-IO 파이프라인으로 학습 가속화 및 모델 전달 시간 4배 단축.
ELCRec	표현 학습과 클러스터링 최적화를 통합한 의도 학습 프레임워크.	사용자의 의도를 효과적으로 학습하여 추천 성능 향상, 미니 배치 기반 동시 최적화 및 클러스터링 손실 도입.
GPTRec	GPT-2 기반 모델로 SVD 토크나이제이션 알고리즘을 사용하여 어휘 문제 해결.	추천 품질 유지하며 임베딩 테이블 크기 40% 감소.
DRDT	동적 반사(Dynamic Reflection)와 발산적 사고(Divergent Thinking) 접근 방식을 결합.	협력적 데모 추출기를 활용하여 사용자의 선호를 폭넓게 분석하고, 동적 반사를 통해 관심 진화 모델링.
LLaRA	ID 기반 임베딩과 텍스트 항목을 통합하여 하이브리드 접근 방식 사용.	커리큘럼 학습을 통해 텍스트-기반에서 하이브리드 프롬프트로 전환, 시퀀셜 추천 작업에 최적화.
E4SRec	LLM과 전통 추천 시스템을 통합하여 ID 기반 순위 리스트 생성.	단일 프로세스를 통해 효율적이고 산업 수준의 추천 시스템 구현.
RecInterpreter	LLaMA를 사용해 ID 기반 추천 시스템의 표현 공간을 해석.	다중 모달 데이터 쌍과 가벼운 어댑터로 시퀀셜 추천 시스템의 해석 가능성 강화.
VQ-Rec	벡터 양자화(Vector-Quantization)를 통해 항목 텍스트를 인덱스로 변환.	전이 학습을 통해 다양한 시나리오에서 효과적, 6개의 벤치마크 데이터셋에서 우수한 성능.
One Model for All	다중 도메인 추천 시퀀스를 처리하기 위한 텍스트 기반의 단일 모델.	다음 문장 예측 과제로 모델을 학습하며, 제로샷 및 소수샷 상황에서도 성능 향상.