给视频模型建一座「全能训练场」:300项任务、可验证奖励,VBVR-Pro系统探索视觉推理

2026-09-20 11:25:46 来源: 机器之心Pro

在迷宫里规划一条路径、想象 3D 物体旋转后的状态、持续追踪物体的位置…… 图像和视频不只是模型需要理解的输入,更是可以推理的 “工作空间 “。近年来,原生视觉推理受到越来越多的关注,语言不再是模型推理的唯一途径,模型可以直接理解、探索和更新视觉空间来解决问题。

视频链接:https://mp.weixin.qq.com/s/tsw4w-9d9lm_z8O2u1eOGg

但目前,还缺少一套完整的基础设施。用什么任务训练模型视觉推理能力?怎么评估模型输出的图片或视频是否正确?图片、视频或图文交错哪一个更适合视觉推理?为了回答这个问题,来自 NTU、CMU、Berkeley 等多家高校研究员联合推出 VBVR-Pro(A Scalable and Verifiable Suite for Native Visual Reasoning)。


(资料图片仅供参考)

论文、数据、模型与代码均已公开。

  • VBVR-Pro 官方网站:https://video-reason.com/?v=pro
  • VBVR-Pro arXiv 论文:https://arxiv.org/abs/2608.26105

VBVR-Pro 将视觉推理构建成一个闭环:首先定义了 300 个视觉推理任务,然后利用 100 任务构建 benchmark,并对每一个任务提供可验证的打分器。在相同数据情况下,训练和测试 30 + 图像、视频和图文交错模型,探索不同视觉推理范式的能力差异,同时我们还验证了这些可验证打分器可以直接作为大规模强化学习中的 Verifiable Reward,进一步提升模型的视觉推理能力

VBVR-Pro 整体框架:从 300 项视觉推理任务出发,连接多模态模型训练、可验证评测与 RL 优化,构建视觉推理的完整闭环。

视觉推理不只需要更多数据,还需要更广泛任务

VBVR-Pro 专门设计 300 个覆盖不同能力和复杂度的视觉推理任务,构建 125 万条高质量训练数据。更重要的是,每一条数据都被渲染成视频和图文交错两种模式。这意味着,我们同时给视频和图像模型准备了两套不同的数据,能够让不同模态的模型在相同配置下进行比较。

VBVR-Pro 包含 300 项视觉推理任务,覆盖感知、空间、变换、抽象和知识五类核心能力。

尽管这 300 项任务着重关注于抽象视觉场景,但经过 VBVR-Pro 数据训练后,模型所获得的能力并没有局限于这些抽象任务,进一步展现出了良好的跨场景泛化能力。我们将训练后的模型在 RISE-Video、V-ReasonBench、RULER-Bench、MME-CoF-Pro、和 BabyVision 等 7 个 Benchmark 上测试,在真实世界场景和具身推理等未见任务上。依然观察到了最高超过 20 百分点的性能提升。

VBVR-Pro 训练带来的能力可以迁移到真实场景和具身推理等未见任务。这些测试样例在训练集中并不存在高度相似的对应样本,说明模型学到的并非是简单的视觉记忆。

不再让模型 “凭感觉打分”,给 100 项任务配上可验证打分器

有了 “训练场”,下一个问题是:谁来当裁判?目前大部分视觉推理 benchmark 都采取 VLM-as-a-Judge 模式:将结果交给多模态大模型,让它给一个评估分数。尽管这种方式很方便,但存在很多问题。我们测试了多个当前领先的多模态大模型,发现 VLM-as-a-Judge 会反复出现的几类问题:无法精细评估视觉属性、容易忽视关键的局部错误、甚至会误解任务规则。而且它们不仅可能判错,还存在成本高、结果不稳定的问题。

VLM-as-a-Judge 的三类典型失误:无法精细判断视觉属性、忽视决定性的局部错误,以及误解任务本身,从而给出不准确的评

因此,针对这些问题,VBVR-Pro-Bench 为其中的 100 项任务逐项实现了专门的可验证打分器。

这些打分器首先抽取真正与任务相关的语义信息,例如物体的颜色、形状、位置以及运动轨迹等,然后根据精心设计的评分规则进行打分。例如在迷宫的例子中,会显式检查路线是否正确,是否存在穿墙情况,每一项分数都可以被具体解释。

可验证打分器如何评分:它会逐项检查任务相关的关键条件,例如融合过程是否正确、最终状态是否符合要求,以及运动轨迹是否有效,最终汇总得到可解释的任务得分。

为了验证这些打分器是否准确,我们进行了大规模的人类偏好实验。我们对 8 个视频模型产生的 4000 段视频进行评估,并请标注员对生成视频的质量进行多轮评估。结果显示,打分器与人类判断的一致性超过 60%,高于论文中测试的所有 VLM,例如 GPT-5.5 为 0.54,Gemini-3.1-Pro 为 0.52。与此同时,人类自身之间的一致性上限约为 0.77,意味着这套打分器已经十分接近人类一致性上限。

因此,VBVR-Pro 不仅搭建了 “训练场”,更提供了可靠的评估体系。它还为下一步留下了一个更重要的可能:既然分数可靠,是不是也能应用于强化学习训练模型?

图像、视频还是图文交错?30 + 模型同场测试

我们测试了超过 30 个开源和闭源生成模型,并进一步使用 VBVR-Pro 数据统一训练了其中 9 个开源模型。训练后,所有模型均取得明显提升。不同模态也展现出了各自的优势。单图更适合以最终状态为主、无需展示复杂中间过程的任务;当离散状态已经足以表达推理过程时,图文交错是一种高效且具有竞争力的视觉推理形式;而当任务依赖连续的状态变化时,视频则表现出更加明显的优势。 这表明,不同视觉载体可能适合不同类型的推理问题。

更有意思的是,我们发现模型并不一定需要依赖显式的 “文字思维链”。当移除或扰动中间文字时,模型仍能保持较强的推理能力;相比之下,一旦中间视觉状态被移除或破坏,性能会显著下降。这说明,对于这些视觉问题,中间视觉状态并不只是展示推理结果,而是模型组织和推进推理过程的重要载体。

进一步,我们观察到模型生成过程中展示出明显的 Chain-of-Step (CoS) 现象。例如在路径规划中,模型会先探索多条候选路线,再逐步找到可行的最短路径。部分任务中多个可能状态会在中间阶段同时出现,最后收敛到唯一解。

视频和图文交错模型都呈现出明显的 Chain-of-Step 现象:模型会在中间去噪阶段探索多个可能的视觉状态,并逐步收敛到最终答案。

从 “裁判” 到 “教练”:打分器还能直接作为 RL Reward

前面提到的可验证打分器,补上了 VBVR-Pro 闭环中的最后一块拼图:用于强化学习训练。VBVR-Pro 打分器能准确判断任务是否完成且计算成本低,非常适合作为模型强化学习训练中的 reward。我们以 VBVR-Pro-Wan2.2-TI2V-5B 为 baseline,原始模型在 VBVR-Pro-Bench 上的分数为 0.470;使用 5 万条数据 SFT 后得分达到 0.503;使用 VBVR-Pro 可验证评分器 RLVR 后进一步提升至 0.548。

在相同数据预算下,使用可验证打分器的 RLVR 取得最佳表现,并同时提升了未参与训练的 Out-of-Domain 任务表现。

除了最终得分的提升,我们还观察到,经过 RLVR 训练后,模型的视觉推理过程本身也发生了明显变化。例如在颜色序列补全任务中,RL 前的模型很早就 “认定” 了一个错误答案,并一直保持到生成结束;经过 RLVR 后,模型虽然早期同样判断错误,却能够在后续生成过程中继续修正视觉状态,最终收敛到正确答案。

RLVR 让模型学会在推理过程中 “自我修正”:RL 前的模型会较早锁定错误答案并保持到最后,而 RLVR 模型能够在后续去噪过程中持续调整视觉状态,最终收敛到正确答案。

这意味着,可验证打分器的意义不再只是告诉我们 “哪个模型更强”。它还可以进一步告诉模型 “怎样做得更好”。从 Benchmark 的 “裁判”,真正变成模型训练场中的 “教练”。

结语

VBVR-Pro 为视觉推理提供了一套统一的实验基础。300 项视觉推理任务、统一的多模态数据、可验证的 Benchmark、超过 30 个生成模型的系统比较,以及一套真正能够用于大规模强化学习的 Verifiable Reward,共同构成了一个从任务构建、模型训练、能力测试到 RL 优化的闭环。

我们相信,模型推理的 “思维链” 未必只存在于文字里。有些问题,也许模型真的需要用视觉来思考

关键词: 多模态 vbvr 视频模型 视觉推理 全能训练场

精选 导读

发布时间: 2026-09-20 11:37
要闻   2026-09-20

热消息:余干县安旗甜品店(个体工商户)成立 注册资本1万人民币

天眼查App显示,近日,余干县安旗甜品店(个体工商户)成立,法定代表人为杨清木,注册资本1万人民币,经营范围为许可项目:食品销售,食品小作坊经营,小餐饮、小食杂

发布时间: 2026-09-19 10:05
要闻   2026-09-19

格罗宁根3-0兹沃勒,兰德、施罗伊德斯破门,范贝尔亨建功

格罗宁根3-0兹沃勒,兰德、施罗伊德斯破门,范贝尔亨建功,兹沃勒,格罗宁根,范贝尔亨,施罗伊德斯,艾茵·兰德,阿尔杰·罗本

发布时间: 2026-09-19 06:34
要闻   2026-09-19

京能热力:持股5%以上股东赵一波解除质押200.00万股

南财智讯9月18日电,京能热力公告,公司持股5%以上股东赵一波先生近日办理了部分股份解除质押业务,本次解除质押股份数量为200.00万股。

发布时间: 2026-09-18 16:07
要闻   2026-09-18

200亿湖北社保科创基金正式投入运营 每日消息

【200亿湖北社保科创基金正式投入运营】目前,湖北社保科创基金三只下层基金长江科创基金、武汉江城科创基金、武汉武创战新基金已经完成工商设立登记,标志着湖北社保科创基金矩阵正式投入运营。据悉,湖北社保科

发布时间: 2026-09-18 11:02
要闻   2026-09-18

热点 推荐

今日热搜:好消息,各地即将迎来2026年养老金重算补发,工龄35年补发多少?

好消息,各地即将迎来2026年养老金重算补发,工龄35年补发多少?,工资,工龄,重算,养老金,个人账户

发布时间: 2026-09-19 22:30
财经   2026-09-19

焦点滚动:拓璞数控上市四个月CFO变更:张木清离职,冯炳彰接任 股价已较发行价跌近两成

拓璞数控(07688.HK)9月18日披露公告,张木清因希望将更多时间投放于个人发展,已提呈辞任公司首席财务官,自2026年9月18日起生效。辞职后不再于集团担任任何其他职位。同时,拓璞数控宣布,冯炳

发布时间: 2026-09-19 20:07
财经   2026-09-19

文昌东郊瑞晴再生资源回收站(个体工商户)成立 注册资本3万人民币

天眼查App显示,近日,文昌东郊瑞晴再生资源回收站(个体工商户)成立,法定代表人为宋瑞晴,注册资本3万人民币,经营范围为一般经营项目:再生资源回收(除生产性废旧

发布时间: 2026-09-19 16:04
财经   2026-09-19

KK:如果拿到金球奖还没想过放哪,也许会给我的孩子们拿去玩-热门

KK:如果拿到金球奖还没想过放哪,也许会给我的孩子们拿去玩,马赛,金球奖,阿森纳,我的孩子们,穆萨·登贝莱,巴黎圣日耳曼

发布时间: 2026-09-19 07:24
财经   2026-09-19

如今不会再给贾国龙第二个西贝,开始做自己当年看不上的生意了!

如今不会再给贾国龙第二个西贝,开始做自己当年看不上的生意了!,西贝,快餐,焖面,面店,贾国龙,做自己

发布时间: 2026-09-18 20:34
财经   2026-09-18

【独家】生意社七水硫酸亚铁9月18日均差为-1.50元/吨 由负向扩大转为缩小

据生意社监测,七水硫酸亚铁9月18日均差为-1.50元/吨(均差=M10-M20=1123.33-1124.83)。当日,均差由负向扩大转为缩小,表明七水硫酸亚铁跌速减缓,行情出现拐点现象。

发布时间: 2026-09-18 19:11
财经   2026-09-18

如何判断楼市进入存量时代?住建部透露一组数据-每日快报

中国经济网9月18日讯(记者张翀)在今日举行的“开局起步‘十五五’”系列主题新闻发布会上,住房和城乡建设部房地产市场监管司司长张雪涛在回答记者提问时表示,当前

发布时间: 2026-09-18 18:02
财经   2026-09-18

9月18日涨停复盘:79只股涨停 华瓷股份4连板 焦点简讯

今天沪指涨0.94%,深成指涨1.72%,创业板指涨2.25%,今日大盘成交额2.08万亿,较上个交易日放量2539.66亿。  涨停个股数量方面,今日共计79

发布时间: 2026-09-18 17:01
财经   2026-09-18

天天资讯:PriceSeek提醒:金川公司上调镍出厂价 涨幅200元/吨

金川公司于2026年9月18日将金川镍出厂价由127600元/吨上调至127800元/吨,涨幅200元。PriceSeek评析镍,多空评分:1金川公司是国内镍行业核心供应企业,出厂价调整具备较强的行业

发布时间: 2026-09-18 14:09
财经   2026-09-18

今日快看!和讯信息许鑫:无量不能追高

今日三大指数强势拉升,成交量放大58亿元,陆股通资金净流入108.8亿元。

发布时间: 2026-09-18 12:14
财经   2026-09-18

是时候抄底了!豪华燃油车价格集体跳水:最低15万就能拿下-每日观点

是时候抄底了!豪华燃油车价格集体跳水:最低15万就能拿下,新车,裸车,价格,4s店,燃油车,宝马3系,官方指导价,沃尔沃s60

发布时间: 2026-09-17 19:33
财经   2026-09-17

焦点关注:恒大汽车(00708.HK)公布2025年中期业绩:亏损净额约5.85亿元

格隆汇9月17日丨恒大汽车公布截至2025年6月30日止六个月中期业绩,截至2025年6月30日,集团有资产总额约人民币2.78亿元及负债总额约人民币329.52亿元,其中借款约人民币171.10亿元

发布时间: 2026-09-17 07:00
财经   2026-09-17

生意社苯乙烯9月16日均差为448.90元/吨 由正向扩大转为缩小 每日短讯

据生意社监测,苯乙烯9月16日均差为448.90元/吨(均差=M10-M20=10377.80-9928.90)。当日,均差由正向扩大转为缩小,表明苯乙烯上涨减缓,行情出现拐点现象。

发布时间: 2026-09-16 19:10
财经   2026-09-16

联美控股(600167):联美量子股份有限公司关于子公司募集资金账户被冻结-每日简讯

原标题:联美控股:联美量子股份有限公司关于子公司募集资金账户被冻结的公告证券代码:600167证券简称:联美控股公告编号:2026-051联美量子股份有限公

发布时间: 2026-09-16 18:22
财经   2026-09-16

Goodram推Master固态硬盘:14GB/s顺序读取,功耗可降低27%

Goodram推Master固态硬盘:14GB/s顺序读取,功耗可降低27%,tb,gb,固态硬盘,master,goodram

发布时间: 2026-09-16 10:38
财经   2026-09-16

快讯:恒指高开0.5% 科指涨0.47% 科网股、存储概念股活跃

快讯:恒指高开0.5%科指涨0.47%科网股、存储概念股活跃

发布时间: 2026-09-16 09:24
财经   2026-09-16
发布时间: 2026-09-16 07:13
财经   2026-09-16

两次打入第90分钟后制胜球,埃斯皮是本赛季西甲第一人

两次打入第90分钟后制胜球,埃斯皮是本赛季西甲第一人,西甲,埃斯皮,埃尔切队,皇家马德里,欧冠联赛阶段

发布时间: 2026-09-16 06:31
财经   2026-09-16

江苏近期天气平静,秋冬却可能受超强厄尔尼诺影响

江苏近期天气平静,秋冬却可能受超强厄尔尼诺影响

发布时间: 2026-09-15 20:30
财经   2026-09-15