인간의 비 언어적 표현들(추천 시스템에서 고객의 클릭)은 유저의 선호를 표현할 수 있지만 연구의 대상이 아님
language modeling과 behavior modeling 사이에 갭이 있기 때문
AgentCF
agent-based collaborative filtering을 통해 user-item interaction을 simulate하는 방법론
user agent, item agent의 decision과 real-world record의 disparity에 기반해서 reflect/adjust하며 각각의 개체를 modeling
optimized agents는 그들의 preference를 다른 agent에게 propagate(전달?)할 수 있음 -> CF의 concept
1. Introduction
개인화 추천 모델링에 활용 할 수 있는 것은 대화정보 뿐만이 아님. user-item interaction을 통해 유저의 선호를 알 수 있음.
이러한 행동 정보를 자연어 text로 표현하고 prompt에 포함하려는 연구가 있었음
하지만 language modeling은 의미적 관계를 바탕으로 하기 때문에 behavior modeling에서 나타나는 모든 패턴을 포착하기 어려움 (기저귀를 구입하는 사람들은 맥주도 함께 구매한다는 연구를 근거로 들음)
최근 recommender system에 agent를 도입하기 시작함
과거 연구 1 : user historical interaction을 활용한 prompt를 사용
과거 연구 2 : tool, planning strageties를 도입
RecAgent : LLM-based simulator, user-agent 도입 → item side modeling의 부재로 interaction 고려 불가
이 논문은 collaborative learning idea에서 영감을 받음
item, user 모두 중요한 모델링의 대상, recommender는 preference function
최적화 과정을 통해 user, item 관계가 collaboratively optimiz됨 → 추천 시스템이 interaction record을 바탕으로 더욱 잘 학습이 됨.
user-agent와 item-agent가 simulate하면서 전통적인 추천 시스템의 optimization을 모방
1) user agent와 item agent가 자율적인 interaction을 통해 user-item interaction을 modeling (interaction을 자연어 텍스트로 구현하지 않음)
2) user agent와 item agent가 각각 simulating하는 것이 아니라 함께 최적화 됨
AgentCF 방법론을 제안함
2. Methodology
1) Preliminaries
Traditional recommendation Setting
f(u, i) : user u가 item i를 좋아하는 정도
D={<u, i>} : user u, item i 사이의 interaction record
Our Task Setting
user agent (u)는 유저의 선호도를 포착함
item agent (i)는 item의 속성과 예비 구매자들의 선호도를 반영
이 논문에서는 후보 상품들의 랭킹을 매기는 ranking task를 수행
LLM을 튜닝하는 과정은 없음
Overview of AgentCF
agent 도입을 위해 memory module (과거의 상태, 액션, 문맥을 기억)과 reflection module (agent의 상태나 인식을 수정) 활용함
기 연구 과제들은 task-focused(RecAct), user-oriented(RecAgent)하거나 item에 대한 고려가 없었음.
추천 시스템에서 item, user two-sided interaction관계를 모델링해야하기 때문에 item agent 도입이 필요함
item agent를 도입해야 CF에서 매우 중요한 like-alike(이 상품을 좋아하는 사람들이 좋아하는 다른 상품들)같은 문제를 해결할 수 있음
Collaborative memory-based optimization
단순히 LLM prompting을 하는 것이 아니라, simulated user, item agent가 서로 상호작용을 하면서 수정해나가는 과정을 목표로 함 (gradient update를 수행 하지는 않음)
각 time step에서 각 agent는 자율적으로 상호작용하고, 그들의 결정과 real0world interaction records사이의 차이를 통해 collaborately reflect하게 된다
이 과정을 통해 user, item agent는 그들의 memory를 adjust(유지)하거나 update(수정)하여 real-world에 더욱 적합한 행동을 할 수 있다
Implicit preference propagation
과거의 연구들과 큰 차이점은, 이 연구에서는 user&item agent가 서로 상호작용한 기록을 바탕으로 메모리를 업데이트 한다는 점이다. 이를 통해 아이템 메모리를 해당 아이템과 상호작용하는 사용자의 선호도에 주입할 수 있다.
새로운 상호작용이 시작될 때, 다음 유저는 이전에 이 상품을 좋아했던사람의 선호를 전달 받는다.
이는 사용자 측면에서도 동일하게 적용이 된다.
이러한 경우에서 우리의 연구는 colaborativ filtering의 아이디어를 모델링 하는 것이라고 생각할 수 있다.
2) Collaborative Agent Optimization
Memory Design
User Memory
user Memory의 agent는 사용자의 선호를 포함하는 정보 저장소임
현실 세계의 사용자 선호도는 계속해서 변하기 때문에, user의 short-term memory, long-term memory를 각자 사용함
short-term memory는 최근에 업데이트되는 사용자의 선호도로 업데이트
long-term memory에는 과거의 선호도를 계속해서 저장
새로운 상호작용을 할 때 사용자 에이전트는 단기 기억에 직접 접근하는 동시에 장기 기억에서 관련 정보를 검색할 수 있음
Item Memory
item agent를 위해서는 adjustable memory를 사용하여 아이템의 특성뿐만 아니라 이 아이템을 선택한 사람들의 선호를 저장
예를 들어, 에너제틱하고 베이스 소리를 좋아하는 사람들은 락 음악 CD를 좋아함
user memory와는 다르게 item memory는 한 개만 사용. 시간이 지나도 상대적으로 변화가 적기 때문에.
기본적인 상품 메타정보로 초기화 될 수 있으며, 새로운 상호작용이 만들어질 때 마다 사용자의 선호 정보로 업데이트 됨
Autonomous Interaction for Contrasitve Item Selection
initialized agent들이 real-world user-interaction을 잘 simulate할 수 있도록 optimization하는 것이 목표임.
이를 위해서 agent가 real-world와 상호 작용을 할 때 일관된 선택을 하는지 확인하는 과정이 필요함. 이는 일종의 전통적인 추천 모델에서 forward computation같ㅌ은 것임
실제 유저의 구매 이력을 시간순으로 나열하고, 각 시간 step마다 고객이 선호하는 아이템과 선호하지 않는 아이템을 contrasive pair로 제공하여, agent가 이들 중 하나늘 선택하도록 제시함.
agent가 개인의 선호를 잘 학습하지 못한 경우, 상식에 의존해 인기 있는 후보 상품/positined higher in display list (뭔지 잘 모르겠음..)중에 하나를 선택함. 따라서 의도적으로 popular bias와 position bias를 후보게 포함시켰음. popularity가 더 높지만 유저가 좋아하지 않는 상품을 positive item보다 더 앞에 두고 선택을 하게 함
user agent는 user agent memory에 있는 고객 선호와 item agent memory에 있는 아이템 특성을 바탕으로, 아이템을 선택하고 이를 선택한 이유를 대답하도록 함
4. Related Works
1) LLM-powered Agents
LLM-powered agent는 reasoning, planning 등의 가능성 때문에 AGI의 가능성을 보여주고 있음.
memory, reflection 모듈 등을 활용하여 과거의 경험을 저장하고 미래에 더 나은 결정을 내릴 수 있음.
agent를 활용하여 인간 세계를 모방하는 연구들이 많이 이루어지고 있음
2) Language Model For Recommendation
문제 해결에 LLM을 활용하고자 하는 시도들이 많아짐.
연구 1 : 대부분의 연구는 언어 모델 프롬프팅을 통해 user interaction 정보를 기반으로 사용자의 선호를 파악하는 연구가 진행되어 옴.
하지만 LLM이 가진 일반적인 지식과 domain-specific 사용자 행동 패턴의 차이때문에, 개인화된 추천을 제공하기에는 한계가 있었음
연구 2 : LLM이 가진 지식을 추천 시스템에 통합하고자 하는 연구를 진행
연구 3 : fine-tunin을 통해서 LLM이 추천 시스템에 특화되도록하는 연구가 많았으나, 매우 time-consuming했음
user agent뿐만 아니라 item agent도 고려하여 LLM-powered agent끼리 상호작용하며 two-sided relation modeling을 수행함
각 agent가 자율적으로 상호작용하고 각각의 decision과 real-world records와 비교하며 disparity에 reflect함. 이 과정에서 각각의 agent는 각각의 preference에서 mutually align하고, 이 정보를 다른 에이전트에게 전파함
