[LLM/논문리뷰] LLM-Rec: Personalized Recommendation via Prompting Large Language Models

LLM-Rec: Personalized Recommendation via Prompting Large Language Models

LLM-Rec: Personalized Recommendation via Prompting Large Language Models

 

 

 

Abstract

• 텍스트 기반 추천 시스템의 한계를 극복하기 위한 방법론 : LLM-REC
  • 기존의 아이템 설명만으로는 사용자 선호도를 정확하게 반영하기 어려운 문제가 있음. 최근 대형 언어 모델(LLM)의 발전이 이를 해결하는 데 도움이 될 수 있다.
• LLM-REC는 네 가지 프롬프트 전략을 활용하여 텍스트 기반 추천의 성능을 향상시킴
  •  실험 결과 LLM을 활용한 텍스트 증강이 추천 품질을 크게 향상시킴
  • 특히, MLP(Multi-Layer Perceptron)와 같은 단순한 모델도 LLM-REC로 증강된 입력을 사용할 경우, 복잡한 콘텐츠 기반 추천 모델보다 높은 성능을 보임
• 다양한 프롬프트 기법을 활용하여 LLM이 아이템의 일반적 특성과 특정 특성을 보다 효과적으로 이해하도록 하는 것

1. Intro

• 텍스트 기반 추천 시스템은 제품, 영화, 책, 뉴스 기사, 사용자 생성 콘텐츠(예: 소셜 미디어 게시물, 짧은 동영상 등) 등 다양한 아이템을 다룰 수 있어 광범위한 응용 가능성을 지님. 그러나 기존의 텍스트 기반 추천 시스템은 아이템 설명이 불완전하거나 불충분한 정보만 포함하는 경우가 많아 사용자 선호도와 정확히 정렬되지 않는 한계가 있음
• 최근 대형 언어 모델(LLM)의 발전으로 인해 LLM이 방대한 지식을 저장하고, 복잡한 추론을 수행하며, 다양한 작업을 해결할 수 있는 능력을 갖추게 되었음. 이러한 LLM의 강점을 활용하여, LLM-REC 프레임워크를 도입함으로써 프롬프트 기법을 통해 입력 텍스트를 강화하고, 보다 개인화된 추천을 제공하는 것이 연구의 목표임
• 실험을 통해 LLM-REC 프레임워크가 기존의 콘텐츠 기반 추천 시스템보다 더 나은 추천 품질을 제공한다는 점을 확인음. 특히, LLM을 활용하여 생성된 강화된 텍스트는 일반적인 아이템 특성과 특정 특성을 모두 효과적으로 표현할 수 있어, 데이터가 부족한 도메인에서도 유용하게 적용될 수 있음

2. Related Works

Augmentatino intext-based recommendation

• Text based recommendation에서는 개인화된 추천을 위해 LLM, ML 기법들을 사용해왔음. 하지만 이러한 기법들은 textual 정보를 충분히 내포하지 못한다는 한계가 있었음
• 이에 다양한 textual information을 포함하기 위한 연구가 진행되어옴

LLM for Recommnedation

• LLM의 text generation능력을 활용하여 data augmetaion을 하려는 시도가 계속되어옴
• 이 논문에서는 LLM의 지식과 추론 능력을 사용하여 item의 특징과 의미를 더욱 풍부하게 capture할 수 있는 input text augmentation에 집중함

 

3. LLM-Rec

• recommendation purpose를 위한 summary 생성 시 아이템의 독특한 속성을 강조해야 함
  • 영화 아이템의 경우, 장르 정보를 포함하는 것이 이러한 독특성을 나타내는 중요한 요소가 될 수 있음
  • 이는 저자의 장르에 대한 이해가 있기에 가능한 접근임
  • (이후의 모든 서술은 영화 데이터에 대해 작성되었음)
• 대형 언어 모델이 정보가 풍부한 아이템 설명을 생성하는 가능성을 탐구하며, 이러한 증강된 텍스트를 개인화된 추천을 개선하는 데 어떻게 활용할 수 있는지를 다룸

Basic Prompt

• 일반적인 영화 요약을 생성하는 task를 수행함
• $$p_para$$ : 기존 아이템 설명을 paraphrase
• $$p_tag$$ : tag를 사용해서 아이템의 기본 정보를 요약
• $$p_infer$$ : item 특성을 유추하고, 보다 넓고 세부 사항이 적은 수준의 범주형 응답을 제공

Recommendatino-driven Prompting

• 기본 프롬프트에 추천 기반의 지침을 추가해서 추천을 위한 instruction을 만듦
  • 단순한 설명을 넘어서 특정 항목을 추천하기 위한 정보를 강화하고, 그러한 추천을 더 매력적이고 설득력 있게 만드는 내용을 생성하도록 LLM에 지시함
• 사용자가 해당 아이템을 선택하도록 유도할 수 있는 높은 품질의 추천 문장을 생성하는 데 도움을 줌

Engagement-guided Prompting

• 이 문장은 아이템 설명의 부족함이 추천을 생성하는 사용자 집단에 대한 이해 부족에서도 기인할 수 있음.
  • 즉, 추천 시스템이 특정 사용자 그룹의 선호나 요구를 제대로 이해하지 못하면, 해당 그룹에 적합한 추천을 제공하는 데 어려움이 생길 수 있음
• 사용자 행동, 특히 사용자와 항목 간의 상호작용(즉, 사용자-항목 참여)을 활용하여 프롬프트를 만들어 LLMs가 항목 내의 특성을 더 정확하게 이해하도록 유도하는 것

Recommendatino-driven + Engagement-guided Prompting

• Recommendatino-driven +Engagement-guided Prompting

LLM-Rec의 장점

• LLM-REC는 다양한 종류의 항목에 제한받지 않는 다재다능하고 간단한 구조를 갖추고 있음
• 추천 시스템의 투명성과 설명 가능성을 증대시킴

 

4. Experiments

(1) Experiment Setup

Dataset and Baselines

• Dataset : Movielens, Recipe
• Baselines : intem description만 input으로 사용한 CF 모델군과 Text Augmentation 방법론

Language Models

• GPT-3, text-davinchi-003

Evaluation

• train, validation, test = 8:1:1
• metrics : Precision@k, Recall@k, NDCG@k (k=10)

 

(2) Main Results

• 증강 텍스트의 중요성 : 원래의 아이템 설명에 LLM을 통해 생성된 더 풍부한 정보를 통합함으로써 추천의 질이 높아짐
• LLM이 생성한 콘텐츠가 더 상세하고 표현력이 뛰어난 설명을 포함함.

 

5. Discussions and Conclusion

• 이 연구에서는 LLM-REC이 대형 언어 모델(LLM)을 활용하여 추천 성능을 향상시키는 효과적인 방법임을 입증함
  • 범용성(Flexibility) : 기존 연구(KAR 등)는 특정 추천 모델에 맞춰 증강 알고리즘을 설계하는 데 집중했지만, LLM-REC는 입력 텍스트 자체를 증강하는 방식으로, 어떤 콘텐츠 기반 추천 모델에서도 활용할 수 있음
  • 추천 품질 향상 : 
    • LLM을 활용한 텍스트 증강을 통해 원본 아이템 설명이 부족할 때도 더 풍부한 정보를 추가할 수 있으며, 이는 추천 시스템의 성능을 크게 향상시킴
    • 특히, 단순한 MLP 모델조차 증강된 입력을 사용하면 복잡한 추천 모델보다 더 나은 성능을 보임
  • 설명 가능성 향상
    • LLM-REC를 통해 생성된 증강된 텍스트는 추천의 이유를 보다 명확하게 설명할 수 있도록 도와줌
    • 이는 사용자뿐만 아니라 시스템 설계자에게도 유용하며, 추천이 어떤 방식으로 이루어지는지를 더 쉽게 이해할 수 있도록 함