KDD 2025 | 告别推荐翻车：快手SL-MGAC精准稳定插播直播赢用户时长！

在短视频与直播混合推荐的场景中，直播推荐系统（RS）需在每次用户请求时决定是否插入直播。不当的直播分配策略会损害用户长期体验，显著降低应用使用时长和留存率。因此，制定最优的直播分配策略对最大化用户长期活跃度至关重要。近年来，强化学习虽常用于推荐系统以捕捉用户长期兴趣，但其传统算法常面临收敛性差、训练不稳定等问题，限制了其在大规模工业级推荐系统中的实际应用，在上述这样具有挑战性的场景下尤为明显。

为解决这些问题，快手团队提出了一种新颖的、融合监督学习的多分组Actor-Critic算法（SL-MGAC）。该方法不仅在平台级约束下优于各类基线方法，还在实际线上推荐中展现出了更高的稳定性。目前，相关成果《Supervised Learning-enhanced Multi-Group Actor Critic for Live Stream Allocation in Feed》已被 KDD  2025国际顶会收录。

• 论文链接：https://arxiv.org/pdf/2412.10381

• 代码链接：https://github.com/frankg1/SL-MGAC-torch

本研究主要聚焦于直播与短视频混合推荐场景中的直播插入决策问题（如图1所示）。

该问题的核心目标在于双重优化：一方面需最大化直播分发的效率以提升用户直播观看时长；另一方面，必须严格遵循平台维度的约束条件，避免因直播插入过度而导致用户整体应用使用时长的下降。因此，该决策过程可被看作是一个每次用户请求时均需做出决策的带约束马尔可夫决策过程。

近年来，强化学习（RL）技术在工业界推荐系统中已有多项应用尝试。然而，强化学习技术在训练与部署阶段普遍面临显著的不稳定性问题。尤其是在工业界推荐系统场景中，系统流量在高、低峰期差异巨大，且用户行为数据分布随时间推移呈现剧烈波动。这些动态特性极大地加剧了强化学习模型性能退化甚至崩溃的风险。

因此，如何在确保满足平台约束条件的前提下，有效利用强化学习技术最大化用户的长期使用时长收益，并同时在推荐系统的在线服务环节（即最终决策环节）保障模型的稳定性仍然是一个巨大的挑战。

图1  直播与短视频混合推荐系统架构

我们可以把上述的短视频流插直播且需要满足时长约束的问题描述为一个带约束的优化问题：

通过将上述问题转化成min-max优化问题并引入拉格朗日乘子项，可以将带约束的优化问题转化成不带约束的优化问题。再进行一系列公式推导可以得到最终的优化目标如下：

在本篇论文中，快手提出了融合监督学习的多分组Actor-Critic框架SL-MGAC (Supervised Learning enhanced Multi-Group Actor Critic)，如下图2所示：

图2  SL-MGAC的算法框架

SL-MGAC包括如下几个模块：

1. 用户和直播的特征提取模块 (User & Live-stream Feature Extraction)

2. 基于多分组状态分解模块的Actor网络 (Multi-Group State Decomposition)

3. 监督学习增强的Actor Critic网络 (Supervised Learning enhanced Actor Critic Networks)

此外，在reward预估层面，团队对短视频时长和直播时长的预估都采用了时长分布离散化分桶的方式，仅通过预估桶内的比例减小模型预估的误差。同时对于reward进行了sigmoid归一化处理来减小方差，结合监督学习对于reward预估值的约束，提高整个Q值预估的准确性和Critic网络的稳定性。在Actor网络中，团队也对策略梯度loss中的Q值进行了归一化处理，等价于梯度裁剪，来使得Actor网络在训练中也能够较为稳定的梯度，防止Actor网络崩溃。

模型最终的loss函数如下所示：

• Critic部分：

• 监督学习部分：

• Actor部分：

• 总loss：

团队从快手海外版直播推荐系统中采集了离线数据集对SL-MGAC模型的效果进行了评估，同时进行了在线AB测试及稳定性测试等。离线对比和消融实验结果如图4所示，可以看出SL-MGAC显著优于其他方法。

图3 SL-MGAC离线对比和消融实验结果

同时，在线上AB实验中，SL-MGAC也优于传统的Learning to Rank模型和单步的RL模型，如图4所示。

图4  SL-MGAC在线AB实验结果

此外，团队也监控了模型线上的直播透出比例，发现SL-MGAC的天级波动会小于baseline的SAC模型，如图5所示。

图5  SL-MGAC线上直播透出比例监控

在本篇论文中，快手海外推荐部团队提出了监督学习增强的多分组Actor-Critic框架，通过引入多分组状态分解来捕捉直播业务中不同用户群体的差异化偏好，结合监督学习来提升Critic网络的预估准确度和稳定性，同时也引入了方差降低的技术来提升模型的整体稳定性。

目前，SL-MGAC模型已经部署在快手海外版Kwai线上推荐系统中，实现了强化学习技术在推荐系统最后一个环节的落地应用。该模型在稳定性方面的优化也为强化学习技术在工业界场景的应用提供了新的思路。此外，SL-MGAC模型对于混合推荐系统的决策问题所给出的解决方案也可以应用在广告、电商、用户增长push等多个业务场景中。

- END -