在大语言模型领域，基于人类反馈的训练范式（RLHF等）已被证明能够显著提升模型的推理能力和文本生成质量。以OpenAI GPT系列为代表的众多模型在后训练阶段均采用了类似的训练范式。然后，在视频生成领域，基于人类偏好的研究仍处于起步阶段，其有效性和应用方式尚缺乏明确的共识。如何构建高质量的偏好数据集？如何训练稳健的视频奖励模型？如何将人类反馈或奖励模型有效应用于视频生成模型的训练？这些基础性问题亟待解决。
[📝论文题目] : Improving Video Generation with Human Feedback
[📖项目主页] ：
https://gongyeliu.github.io/videoalign/
[🔮论文链接] ：https://arxiv.org/abs/2501.13918
[🎯代码链接] ：https://github.com/KwaiVGI/VideoAlign
全文内容速览
在该工作中，我们开发了系统级的视频生成模型对齐管线，通过引入人类反馈机制全面提升视频生成模型的综合表现。该管线包含四个核心组件:
1. 大规模人类偏好数据集
我们构建了一个大规模人类偏好标注数据集，涵盖来自12个主流视频生成模型的18.2万条偏好标注样本，从画面质量、运动质量、文本-视频一致性等多个维度对生成视频进行评估。
2. 视频奖励模型VideoReward
我们系统性地研究了基于视觉语言模型(VLM)的视频奖励模型构建方法，深入探索了数据标注、模型架构、训练策略等关键设计选择对奖励模型性能的影响机制。
3. 评测基准VideoGen-RewardBench
我们发布了VideoGen-RewardBench评测基准，这是一个专门用于评估视频奖励模型的测试榜单，包含由主流视频生成模型产出的视频样本及对应的人类偏好标注。
4. 视频偏好对齐算法
我们将三种偏好对齐算法适配至基于流匹配的视频生成模型训练，包括两种训练时策略(Flow-DPO和Flow-RWR),以及一种推理时增强策略(Flow-NRG)。
一、偏好数据构建
我们基于12个文本生成视频模型和16,000个独立文本提示，生成了10.8万条视频样本，并构建了包含18.2万个标注三元组的偏好数据集（每个三元组由"文本提示 + 两段生成视频 + 人类偏好判断"组成）。
标注员从三个核心维度对视频对进行评估：视觉质量（VQ），运动质量（MQ），文本对齐（TA）。针对每个维度，标注员需要在两段视频之间做出偏好选择：A胜 / 平局（Tie）/ B胜。
除成对比较外，我们还引入了绝对评分机制：标注员在相同三个维度上，以1-5 Likert量表为每段视频独立打分。这种"成对比较 + 绝对评分"的双通道标注方式，使我们能够系统性地对比两种数据收集策略的优劣，为后续奖励模型训练提供更有效的监督信号。
二、VideoReward（多维视频奖励模型）
基于构建的偏好数据集，我们训练了VideoReward奖励模型，并在模型设计中探索了三个关键问题：
1. 建模方式：回归模型 vs. Bradley-Terry模型
由于训练数据同时包含绝对评分和成对偏好两种标注，我们对比了两类建模方法：
回归模型：直接预测视频的绝对分数
Bradley-Terry（BT）模型：基于成对比较建模相对偏好
实验表明，BT模型在各种数据规模下均持续优于回归方法。随着数据量增大，两者性能差距有所收敛，但BT始终保持领先。
2.平局处理：显式建模"Tie"标注
传统BT模型通常会丢弃“平局”标签，导致信息损失。我们的研究发现，显式纳入平局标注能显著提升奖励模型的鲁棒性和准确性。因此，我们采用BTT（Bradley-Terry with Ties）作为损失函数，完整刻画人类偏好的细微差异。
3. 维度解耦：独立建模多维评估
若多个评估维度共享单一表征，容易导致维度间的相互干扰——例如，与文本相关的上下文信息可能"污染"本应独立的视觉质量判断。为此，我们为每个维度引入专用token，使模型能够独立提取各维度特征，实现真正解耦的多维度评估能力。
三、VideoGen-RewardBench：奖励模型评测基准
现有的奖励模型评测数据集主要基于早期T2V模型（如CogVideo、ModelScope等）的输出，难以反映奖励模型对当前最先进模型（如Sora、Kling、即梦等）的评测水平。为填补这一空白，我们构建了VideoGen-RewardBench。
我们精心设计了25000个评测三元组，由专业标注员在视觉质量、运动质量、文本对齐三个维度上进行成对偏好标注。特别地，我们引入了"整体质量"维度，作为跨维度奖励模型的统一评价标准。
我们采用双基准评测策略：
VideoGen-RewardBench（主要基准）：评估奖励模型在最新一代T2V模型上的表现
GenAI-Bench（补充基准）：评估奖励模型在早期T2V模型上的泛化能力
四、视频对齐
后训练的最终目的是为了将预训练模型的输出分布与人类偏好对齐，我们将这一目标表述为：
我们将三种对齐算法推广至基于流匹配的视频生成模型，包括两种训练策略（Flow-DPO和Flow-RWR）和一种推理时增强技术（Reward Guidance）。
Flow-DPO：
Flow-RWR:
Reward Guidance:
我们对三种对齐算法与基线模型、监督微调（SFT）进行了系统比较。实验发现，Flow-DPO在我们的场景中表现最优。
一个有趣的观察是：使用恒定β系数的Flow-DPO优于时间步依赖β的版本，而后者是从Diffusion-DPO算法直接推导而来。我们推测，时间步依赖的β可能导致不同时间步上的训练不均衡，因为T2V模型在不同噪声水平下共享模型权重，恒定β能提供更稳定的优化信号。
通过Flow-DPO算法进行偏好对齐后，视频生成模型在多个维度上实现了显著提升，以下是对齐前后的视频对比案例：
五、总结与展望
视频生成模型的后训练范式不应止步于“如何收集高质量数据进行微调”，更要关注“如何基于反馈信号持续优化模型”。本研究通过构建大规模偏好数据集、训练多维解耦的VideoReward模型，以及将Flow-DPO等对齐算法引入流匹配框架，系统性地探索了人类反馈在视频生成中的应用路径。
我们的核心发现是：当前视频生成模型的天花板远未触及。通过偏好对齐，模型在视觉呈现、动态表达和语义理解上都实现了肉眼可见的跃升——这不仅验证了RLHF在视频领域的可行性，更揭示了一个事实：人类反馈能够有效弥合技术指标与真实偏好之间的鸿沟，让模型真正学会"什么是好视频"。
本研究的意义不仅体现在性能指标的提升，更在于为视频生成领域建立了一套端到端的人类反馈对齐方法论——从数据标注到奖励建模，再到算法适配，每个环节都有可借鉴的经验和开源工具支持。VideoReward的开源也降低了后续研究的门槛。这套完整的后训练管线有望在长视频叙事、定制化生成、交互式生成等更复杂场景中释放更大潜力，推动视频生成技术的进一步发展。
”
欢迎加入
”
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论，来说两句吧...