构建一个可用的仿真器,通常远不止“生成代码”:开发者需要准备 3D 资产、连接物理行为、配置传感器、管理场景数据,还要创建查看结果的方式。NVIDIA 近日发布的一组开发者实验,正在展示前沿 AI 模型如何把这一工程链条大幅压缩——从自然语言指令出发,直接组装出可运行的 Omniverse 仿真应用。
在 NVIDIA 的演示中,产品经理 Frank DeLise 使用 GPT-6 Astra 将一个 SimReady 仓库场景与人形机器人组合成可交互环境。系统支持第一人称与第三人称视角,并串联起 Omniverse 的物理、场景更新、光线追踪渲染与用户界面控制等组件——在指定工作流后,智能体自动生成了动画与应用代码。
这一过程并非一键完成,而是依赖开发者持续指导、审查输出并请求修改。智能体可以协调多个库,但生成的应用程序仍需对照物理与运营要求进行测试。换言之,AI 承担的是“组装与编排”,验证与把关仍然落在工程师手中。

图1 AI 智能体在 Omniverse 中组合人形机器人与仓库场景(示意图)
多项演示聚焦“机器在进入物理世界之前先被评估”,将仿真环境作为机器人、自动驾驶系统安全下线的第一道试验场。
NVIDIA 仿真技术团队经理 Doyub Kim 使用 Astra 构建了基于旧金山 Market Street 的可复用环境“Zero to Alpamayo”,分阶段连接资产创建、交通、Omniverse RTX 传感器仿真与自动驾驶驾驶,使模型对比与场景变化追踪成为可能。城市级环境的可复用性意味着:同一套数字孪生可以反复承载不同算法、不同场景的对比验证。

图2 基于城市街道构建的自动驾驶仿真环境(示意图)
在“Robo Olympics”实验中,研究团队以体育视频与自然语言指令驱动模拟宇树 G1 人形机器人跨栏。工作流调用 Newton Physics Engine 进行行为仿真、NVIDIA Warp 加速计算、Omniverse RTX 渲染——单次跨栏在 100 次试验中成功 64 次。以真实运动数据驱动、以物理引擎约束行为、以大规模试验量化成功率,构成了“可测量反馈”的闭环样本。

图3 宇树 G1 人形机器人在仿真环境中进行跨栏试验(示意图)
Ashley Reid 团队指挥 Astra 与 Claude Fable 5 在约三天内创建并改进四个数字孪生,以相机与 LiDAR 输出指标而非目视检查作为验收标准,据此修正 OpenUSD 场景中的缺失物体、几何与材质问题。当“检查标准”从人眼迁移到传感器指标,AI 智能体的产出质量便有了可量化、可审计的尺度。
表1 AI 智能体构建 Omniverse 仿真演示一览
|
演示项目 |
构建者 |
核心内容 |
关键产出与数据 |
|
交互式仓库仿真 |
Frank DeLise(产品经理) |
以 GPT-6 Astra 组合 SimReady 仓库场景与人形机器人,支持第一/第三人称视角 |
智能体自动生成动画与应用代码 |
|
Zero to Alpamayo |
Doyub Kim(仿真技术团队经理) |
基于旧金山 Market Street 的可复用自动驾驶仿真环境 |
分阶段连接资产、交通、RTX 传感器仿真 |
|
Robo Olympics |
NVIDIA 研究团队 |
以体育视频与自然语言指令驱动模拟宇树 G1 人形机器人跨栏 |
单次跨栏 100 次试验成功 64 次 |
|
数字孪生四连测 |
Ashley Reid 团队 |
约三天创建并改进四个数字孪生 |
以相机与 LiDAR 指标验收,修正 OpenUSD 场景 |
值得强调的是,NVIDIA 将这批工作定位为“开发者实验展示”,而非单一产品发布或独立验证的基准。其核心意义在于架构层面:智能体不再只是编写独立脚本,而是协调资产、仿真引擎、渲染系统、传感器模型与应用接口——将生成式模型与可测反馈的验证任务连接起来。
传感器校验对比渲染输出与实采数据、机器人控制反复运行物理试验、工业设计在硬件制造前检验工具可达性,这些“可测量反馈”的工作流,正是智能体发挥价值的最优场景。

图4 工业设计数字孪生:在硬件制造前检验工具可达性(示意图)
从航天器可视化到汽车悬架工具设计,AI 智能体正在把零散的 3D 数据组装成可检查的仿真应用。可以预见,仿真环境构建正从“代码驱动”迈向“自然语言驱动”,而工程审查、版本管理与可审计的验收标准,仍将是这条路上不可省略的关卡。
对行业而言,这轮实验的意义不止于“会写代码的助手”:当自然语言能够调度物理引擎、渲染管线与传感器模型,仿真构建的准入门槛正在降低,而仿真结果的可信度管理——从数据来源、场景版本到验收指标——将成为新的工程课题。
其一,智能体是“编排者”,不是“替代者”。从演示中可以看到,AI 负责把资产、物理、渲染、传感器与应用接口组装起来,而开发者承担持续指导、审查输出、对照物理与运营要求测试的职责。人机分工不是“谁取代谁”,而是“组装交给智能体,验证留在工程师”。
其二,“可测量反馈”是智能体价值的试金石。传感器校验对比渲染输出与实采数据、机器人控制反复运行物理试验、工业设计在硬件制造前检验工具可达性——凡是有明确量化验收标准的工作流,智能体的产出质量都更容易被确认,也更容易被信任。
其三,验收标准与版本管理将成为新的工程课题。当仿真场景由自然语言生成,场景的数据来源、版本变更与验收指标必须被记录和审计;工程审查、版本管理与可审计的验收标准,仍将是这条路上不可省略的关卡。
从提示词到可运行的仿真应用,AI 智能体正在改写仿真开发的方式,但并未取消工程本身。开发者依然是审查者、测试者与验收标准的制定者;可测量反馈,则是人与智能体协作的锚点。