[LLMRec/개념] Sequential Recommenders (순차 추천 모델)

✅ Dense Sequential Recommenders

다음은 각 아이템을 고차원 임베딩(High-Dimensional Embedding)으로 변환한 후, 최대 내적 탐색(Maximum Inner Product Search, MIPS) 공간에서 ANN(Approximate Nearest Neighbor) 검색을 수행하여 다음 아이템을 예측하는 방법

 

 

RNN 기반 모델

• GRU4REC (Hidasi et al., 2015)
  • 최초로 GRU 기반 RNN을 순차 추천에 최초로 적용한 모델
  • 사용자의 sequence 데이터를 학습하여 다음 추천 아이템을 예측

Attention 기반 RNN 모델

• NARM (Neural Attentive Session-based Recommendation, Li et al., 2017)
  • GRU에 어텐션 메커니즘을 함께 사용하여 사용자의 장기적인 의도를 추적
  • 기존 GRU보다 세션 내에서 중요한 아이템을 더 잘 포착할 수 있도록 설계됨
• AttRec (Zhang et al., 2019)
  • Self-Attention 메커니즘을 활용하여 현재 세션에서 사용자의 의도를 모델링
  • Metric Learning을 통해 사용자-아이템 친화도를 학습하여 개인화를 강화

Transformer 기반 순차 추천 모델

• SASRec (Kang et al., 2018)
  
  • decoder-only Transformer 모델과 유사한 Self-Attention 구조 사용
  • 기존 RNN 기반 모델보다 더 긴 시퀀스를 효과적으로 학습 가능
• BERT4Rec (Sun et al., 2019) / Transformers4Rec (DeCao et al., 2021)
  • Masked Language Model 기법을 활용하여 순차 추천을 수행
  • NLP에서 BERT가 성공한 방식과 유사하게 아이템 시퀀스의 일부를 마스킹하여 학습
• S3-Rec (Zhou et al., 2020)
  
  • 마스킹 기법 뿐만 아니라 4가지 종류의 Self-Supervised Learning task를 활용하여 데이터 표현력을 개선

 

✅ Generative Retrieval based Recommenders

• P5
  • Pretrained Large Language Model을 Multi-Task Recommender Systems에 맞춰 fine-tuning한 모
  • SentencePiece 토크나이저를 활용하여 무작위로 할당된 아이템 ID를 토큰화하여 학습

 

✅ Code 를 사용한 Recommenders

• VQ-Rec (Hou et al.)
  • 아이템 표현을 위한 콘텐츠 정보를 활용하여 "코드"(Semantic ID와 유사한 개념)를 생성
    • 코드 생성 시 Product Quantization 사용
  • 단, 연구의 초점은 이식 가능한(transferable) 추천 시스템 구축에 있으며, 이 코드를 검색을 위한 생성적 방식(generative manner)으로 활용하지는 않음