把杯子放进微波炉里股票做多平台，这一人类几乎不用思考的日常动作，机器人却可能在杯子放不稳、夹爪碰到门框这样的细节上频频出错。
让它从一次次失败中改进当然可行，但每次都让真机试错，执行、重置和硬件维护又是一笔不低的成本。
元股证券:ygzq.hk
如果把探索搬到仿真里，新的问题又来了：场景重建得确实很像，但真的能复现视频里的操作吗？
针对这一问题，来自上海人工智能实验室、上海交通大学、浙江大学、中国科学技术大学、香港中文大学和香港大学的研究团队提出Real2Gym：从人类或机器人视频构建可交互的仿真环境，让 Agent 在其中探索、积累技能，再将经验用于真实机器人。论文与代码现已公开。
老牌股票配资△Real2Gym 概览：从视频示范构建环境，在仿真中探索并将技能用于真机。
为什么重建得像还不够
多模态模型已经能调用建模工具生成细致的三维场景，但机器人操作对几何误差尤其敏感。杯口稍窄、物体偏移，或容器内部被碰撞模型封住，都可能让画面中合理的动作在物理执行时失败。
Real2Gym 把动作能否在物理引擎中完成作为场景验收的一部分。系统既要保留视频中的物体、布局和视角，也要让机器人真正完成抓取、放置和接触。
两个关键环节让视频变成可练习的环境先用几何线索约束场景再围绕交互纠错
对于多视角视频，Real2Gym 利用 Pi3X 提供的几何线索，结合 SAM2 分割关联不同视角中的物体，约束它们的尺度和位置，再构建可编辑的 Blender 场景及对应的 MuJoCo 环境。单视角输入则采用相应的几何初始化方案。
接下来，系统关注的是交互发生变化的时刻：物体何时被抓起、何时接触支撑面、夹爪何时释放。围绕这些关键帧，Agent 自我检查视角、布局、接触和外观，并结合相邻画面局部修正。
以倒杯为例，即使桌面和物体已经对齐，杯沿附近的尺寸误差仍可能导致穿模。关键帧检查能把修正集中到真正影响操作的区域，避免只凭一张整体渲染图判断重建质量。
把动作放进物理引擎再检查一遍
经过修正的动作会在 MuJoCo 中执行，检查任务完成情况以及支撑、接触和稳定性。执行轨迹随后导回 Blender，与原视频对照，核查视觉对应和物理可行性。
△方块入杯任务的真实与仿真对照。左到右为真实视频、Blender 渲染和 MuJoCo 执行，展示同一操作在三种画面中的对应关系。
通过验证的场景还可以改变物体位置、桌高、材质、背景、光照或干扰物。会影响运动空间的变化需要适配动作并重新验证，从而为 Agent 提供更多可练习的任务环境。
△从几何初始化、交互关键帧纠错到物理执行验证，Real2Gym 将重建场景扩展为可供 Agent 探索的环境。让一次决策推进一个操作阶段
有了练习场，Agent 还需要高效地完成探索。Real2Gym 将每轮决策的目标从生成单个动作，提升为生成执行一个操作阶段的代码。
例如，一轮响应可以安排接近杯子、闭合夹爪、抬起并检查是否抓稳，将多个动作和验证条件组织在一起，减少反复请求模型的次数。SAM3 提供物体定位线索，GraspNet 提供抓取候选，帮助 Agent 把任务意图落实为可执行动作。
执行后，Agent 根据反馈整理成功步骤、失败原因和恢复方法，形成可复用的 skills。经验描述的是相对物体如何行动、何时检查、失败后怎样修正；再次使用时，要根据当前观察重新定位和调整。
这里的自我改进通过更新技能库实现，底层模型权重保持不变。每次新任务从独立上下文开始，接收选定的技能，因此可以检验经验本身的作用。
成功率更高也减少了模型往返
团队选取 DROID 和 EgoDex 的 24 个场景，覆盖机器人示范和人类操作视频。重建评估中，Real2Gym 在内容对齐、视角对齐、动作保真度和仿真成功评分上均优于所比较的 GPT 基线。定性对比显示，它更好地保留了柜体结构、物体相对尺寸与位置，以及原始相机视角。
△与原视频对照，Real2Gym 重建的场景更接近实际布局和任务相关结构。图中从上到下为 GPT-5.6 Sol、GPT-6 Astra、Real2Gym 和真实视频。
在这些环境中的 Agent 评估里，复用首轮经验后的第二次执行，平均成功率达到87.5%，GPT-6 Astra Direct Mode 基线为 70.8%；策略执行的Token 用量减少约 74.9%。平均模型响应次数也从约 31 次降至约 14 次。
阶段代码让一轮决策能推进更多动作，技能复用则减少重复探索。论文还展示了叠碗任务中 Real2Gym 成功、两个 GPT 基线失败的案例，以及经验复用后更直接的柜体操作与适配器放置过程。上述开销统计针对策略执行，不包括场景构建和单独的技能提取。
在仿真里修正失败再回到真机
在 Franka 机械臂上，团队测试了方块入盘、挂杯、杯子放入微波炉并关门，以及盘子上架四项任务。前三项各 3 次尝试中，Real2Gym 均成功；GPT-6 Astra 基线分别成功 1 次、3 次和 1 次。
盘子上架则让两种方法都遇到了困难：抓取深度、盘沿朝向和狭窄空间中的放置精度必须同时满足要求。初始执行中，两种方法都未成功。
团队随后录制人类示范，重建可交互的数字孪生。Agent 在仿真中的前两次尝试失败，第三次迭代获得可用技能，再结合真机实时观察执行，完成了原本失败的任务。这展示了从真实示范出发，经仿真探索改进技能，再回到真实世界验证的完整过程。
△盘子上架的真机执行：仿真中积累的技能帮助机械臂完成原本失败的任务。左右分别为外部与腕部视角，片段已加速。让操作视频成为机器人积累经验的起点
Real2Gym 提供了一条利用操作视频的路径：从示范构建环境，让机器人通过执行获得反馈，再把经验保存为可复用的技能。随着更多视频转化为可交互任务，机器人有望在仿真中积累更丰富的操作经验。
目前，点云噪声仍会影响重建，阶段级控制在精细操作中也有改进空间；真机验证限于 Franka 和平行夹爪。向灵巧手和人形机器人扩展，还需要进一步实验。
论文标题：Real2Gym: Building Gyms from Videos, Bringing Skills to Robots
作者：Kerui Ren、Yingxiang Xu、Kaiwen Song、Lingning Xu、Bo Dai、Mulin Yu、Tao Lu。Kerui Ren 与 Yingxiang Xu 为共同第一作者，Mulin Yu 与 Tao Lu 为通讯作者。
项目主页：https://real2gym.github.io/
论文：https://arxiv.org/abs/2609.37089
Real2Sim 代码：https://github.com/real2gym/Real2Gym
Agent 代码：https://github.com/real2gym/R2G_Agent
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目 / 主页链接，以及联系方式。
� � 我们会 ( 尽量 ) 及时回复你 : )
� � 点亮星标 � �
科技前沿进展每日见股票做多平台
正配网提示：本文来自互联网，不代表本网站观点。
