论文研究 ·
T-RoPE:面向序列推荐的时间感知旋转位置嵌入
T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation
69进行中1 条arXiv cs.AI
AI 解读
AI 生成推荐理由为生成式推荐系统的位置编码设计提供可参考的优化思路。
研究团队提出时间感知T-RoPE,显著提升生成式序列推荐效果
发生了什么
针对生成式推荐系统直接照搬大模型RoPE、仅记录交互顺序缺失时间维度信息的问题,研究团队提出时间感知的T-RoPE位置编码方案,通过时间戳角度编码、可学习时间系数、多尺度频率库、非平稳键旋转等改造,在多公开数据集、60亿规模工业交互数据集及Shop应用线上测试中均取得效果,额外计算成本仅随序列长度、注意力头维度线性增长,可适配大规模推荐模型落地。
关键信息
- 研究方案
- 面向序列生成式推荐的时间感知旋转位置编码(T-RoPE)
- 公开数据集效果
- 5个公开基准全指标达SOTA,稀疏PixelRec数据HR@10较最强基线提升78%-130%,Amazon Books全指标提升8%-12%
- 工业数据集效果
- 60亿交互规模电商数据集上,较HSTU+Time RAB backbone全指标提升13%-82%
- 线上测试效果
- Shop应用A/B测试转化率提升0.33%,订单量提升0.63%
- 落地成本
- 额外计算开销随序列长度、头维度呈线性增长,兼容原生RoPE接口
背景
当前大规模推荐系统普遍采用大模型衍生的序列生成范式,直接照搬大模型原生的旋转位置编码(RoPE),但该编码仅记录交互事件顺序,无法捕捉时间间隔、跨尺度行为周期、日历相位等关键时间信息;原生RoPE即使适配时间戳,也存在时间平移不变性缺陷,无法区分季节类场景。
为什么重要
对推荐行业而言,该方案打通了大模型位置编码与推荐场景时间特性的适配路径,证明时间维度信号可大幅提升推荐精度;对开发者而言,其兼容原生RoPE接口、线性增长的开销可大幅降低改造成本;对普通用户而言,更精准的推荐可减少无效内容干扰,提升电商等场景的浏览、购物效率。
由 AI 根据原文生成,可能有疏漏,以原文为准。