新加坡推Agent4Rec 大模型智能体构成推荐系统模拟器

要点:

Agent4Rec构建: 新加坡国立大学NExT 实验室团队构建了Agent4Rec，一个由1000名基于ChatGPT-3.5的智能体组成的电影推荐系统模拟器，模拟真实用户在推荐场景中的行为。

Agent行为验证: Agent4Rec在推荐场景下通过实验验证了智能体的真实性，包括对用户电影喜好的准确捕捉、对不同推荐系统的区分能力以及其作为A/B测试平台的潜在价值。

推荐系统问题探索: 通过Agent4Rec，研究人员探索了推荐系统中尚未解决的问题，包括多维度推荐数据的因果关系分析和信息茧房问题的研究。

推荐系统领域长期存在线上线下效果差距大的问题，Agent4Rec通过构建大语言模型智能体，模拟真实用户行为，为解决这一问题提供了新的思路。在Agent4Rec中，每个用户智能体由个性化模块构成，根据用户历史交互生成电影偏好，模拟用户在推荐系统中的行为。通过实验证明，Agent4Rec可以有效模拟用户的喜好，具备区分不同推荐系统的能力，并可作为A/B测试平台，为推荐研究提供可靠的虚拟场景。

项目地址:https://github.com/LehengTHU/Agent4Rec

Agent4Rec的建设和验证为推荐系统研究和应用之间的巨大割裂提供了解决途径。通过多维度的实验评估，Agent4Rec表现出对真实用户行为的大概率反映。此外，研究人员还通过信息茧房问题和因果关系分析，深入探讨了推荐系统领域尚未解决的问题。这一工作为构建理想的离线A/B测试平台和满足企业需求的用户评价指标提供了新的思路。

Agent4Rec的实验结果表明，通过将智能体选择的高分电影加入训练集进行重新训练，可以在离线和模拟的“在线”指标上取得提升。然而，将智能体不喜欢的电影作为数据增强的效果则不尽如人意，从侧面印证了智能体的行为与真实用户行为的一致性。此外，研究人员还根据不同用户特质对智能体进行分组，并验证了智能体在活跃性、从众性和观影多样性上的表现与真实用户的一致性。

Agent4Rec的建设和验证为推荐系统研究和应用之间的巨大割裂提供了解决途径。通过多维度的实验评估，Agent4Rec表现出对真实用户行为的大概率反映。此外，研究人员还通过信息茧房问题和因果关系分析，深入探讨了推荐系统领域尚未解决的问题。这一工作为构建理想的离线A/B测试平台和满足企业需求的用户评价指标提供了新的思路。