sim 与现实之间的差距,是指人工智能模型在模拟环境中的表现与其在现实世界中物理硬件上的实际表现之间的差异。一个感知或控制模型在模拟器中可能取得优异的成果,但在遇到模拟未能完美再现的条件时,其行为却可能变得难以预测。
对于物理人工智能(包括自动驾驶汽车、机器人、无人机以及其他能在物理世界中感知和行动的机器),这一差距比在纯数字应用中更为关键。如果推荐模型对罕见情况判断失误,就会产生不恰当的建议;而物理系统若对罕见情况判断失误,在安全性和可靠性要求严苛的环境中可能会导致系统故障。因此,弥合sim 与现实之间的差距,是实现值得信赖的自主系统的基石。
当模型是在模拟或合成数据上进行训练时,这种差距尤为关键,因为现实世界中的数据往往稀缺、成本高昂或难以安全采集。这正是许多“物理人工智能”(Physical AI)开发 项目的现状,因此“从虚拟到现实”(sim-to-real)的迁移已成为一门重要的工程学科。
图1 —Sim 与现实之间的差距解析。 在仿真环境中训练的模型(左)被部署到物理世界中(右)。仿真性能与实际性能之间的偏差即为“sim 与现实之间的差距”。导致这一差距的因素主要有四个:物理保真度近似、传感器不匹配、未建模的动力学以及训练数据匮乏。旨在弥合这一差距的方法,各自针对上述一个或多个因素。
仿真是对现实的建模,而非现实本身。造成这种差距的因素有四个,每个因素都对应着工程师用来弥合这一差距的一种方法。
| 差距的来源 | 其含义 | 如何解决这一问题 |
| 物理真实度 | 仿真器对摩擦、接触力、光以及电磁行为进行近似模拟;这些微小的近似会累积起来。 | 高保真多物理场仿真 |
| 传感器不匹配 | 在误报 、失真和边界情况响应方面,合成摄像头、雷达和激光雷达 信号与真实传感器的输出存在差异。 | 基于物理的传感器仿真 |
| 未建模的动力学 | 真实环境中存在许多难以预料的变量——例如天气、光照和人类行为。 | 域名随机化 |
| 数据匮乏 | 团队很少拥有涵盖系统可能遇到的所有情况的、多样化的实际测试用例(数据集 )。 | 合成数据生成 |
第五个因素并非在初期出现,而是在部署之后才显现。模型漂移是指随着物理系统老化或环境变化,静态仿真与该系统之间的偏差逐渐增大。它是在整个运行生命周期内使原本存在的偏差进一步扩大,而非制造新的偏差,因此,具备反馈功能的数字孪生能够持续解决这一问题,而非仅进行一次性的修正。
工程师们通过使仿真更贴近现实,并利用更能反映物理世界的数据对模型进行训练,从而缩小了这一差距。这是一个迭代过程:现实世界中的结果会反馈到更精确的仿真中。
图2 — 缩小差距。 四种方法协同工作。高保真多物理场仿真可生成精确的虚拟环境;合成数据生成技术将这些环境转化为训练数据;领域随机化通过改变条件来提升模型的泛化能力;而数字孪生则将实际行为与模型进行对比,并反馈修正信息。利用实际测量数据进行系统辨识和校准,在下一轮训练或验证 循环开始前更新模型参数并修正残差。虚线反馈箭头显示了这一循环:每次实际部署都会优化下一次仿真。
1. 高保真多物理场仿真
模拟对系统将面临的物理现象再现得越准确,虚拟训练与实际部署之间的差距就越小。多物理场仿真通过建模相互作用的物理领域(机械、热力、流体、电磁和光学),从而决定传感器如何感知以及机器如何运动。
实际上,工程师并不一定对环境的每个部分都采用最高保真度。他们采用选择性保真度,将详细的物理建模集中在传输误差影响最大的交互场景上,例如接触频繁的事件、传感器行为、高精度运动以及受安全约束的动力学,而在其他地方则使用降阶模型或替代模型来维持训练吞吐量 。
基于物理的仿真使工程师能够以数字化方式设计、测试和优化传感器及其所支持的系统,从而减少对物理原型的依赖,并使工程师能够在开发 的早期阶段评估更多工况,同时帮助他们解答诸如天气或材料反射率如何影响性能等问题。 传感器和执行器的行为可通过Ansys 的AVxcelerate Sensors软件(用于激光雷达 和摄像头仿真)、Ansys 的HFSS软件(用于雷达和高频电磁仿真),以及Ansys 的Maxwell软件、Ansys 的Motion软件和 Ansys 的Motor-CAD软件(用于执行器的机电行为)进行建模。Ansys ,作为 新思科技,提供这一多物理场软件组合。关于基于物理的仿真作为物理人工智能(Physical AI)基础的作用,在《工程物理人工智能》(Engineering Physical AI)一书中进行了更深入的探讨。
2. 合成数据生成
当现实世界中的数据集 数据匮乏时,通过仿真生成的合成数据可以填补这一空白——前提是这些数据必须足够准确,能够真实反映系统将面临的实际工况。高保真物理模拟正是确保合成数据可靠而非误导的关键。可扩展的机器人技术和虚拟世界平台能够统筹协调场景、资产、情境以及策略训练,而高保真仿真则为那些对精度要求极高的交互场景提供基于物理原理的传感器和系统数据。
ADI正在使用Ansys Mechanical有限元分析软件,以提高NVIDIA IsaacSim环境中电缆和连接器 模型的精度,从而对各种用于电缆管理的机器人策略进行训练和验证。IsaacSim 是一个开源机器人仿真框架,它使开发人员能够在基于物理的虚拟环境中对人工智能驱动的机器人解决方案进行仿真和测试。 通过机械软件计算相关参数,以调整IsaacSim 中用于建立连接所需的驱动器和模型——例如角度限制、断开力和弹性等参数——随后将这些参数打包为通用场景描述(OpenUSD)资源,并集成到ADI的IsaacSim 环境中。
3. 域名随机化
域随机化会在训练过程中,将模拟参数(如光照、纹理、传感器误报 、物体布局 以及物理属性)在较宽的范围内进行有意识的变换。暴露于大量随机变体的模型会学习出在各种条件下都成立的特征,因此现实世界会呈现为另一个变异性 ,而非一个陌生的环境。这是一种广泛用于提升从模拟到现实迁移效果的技术,特别是在与基于物理的模拟和现实世界验证 相结合时。
团队通常会结合多种互补的方法,而不是仅依赖其中一种。每种方法都针对差距的不同成因。
| 方法 | 功能介绍 | 所涉及的一手资料 |
| 高保真仿真 | 提高了训练环境的物理精度 | 物理真实度、传感器不匹配 |
| 域名随机化 | 在随机化的条件下进行训练,以便模型具有泛化能力 | 未建模的动力学 |
| 系统识别 | 对仿真模型进行校准,使其与测得的物理行为相吻合 | 物理真实度 |
| Sim-to-real 微调 | 利用少量真实数据对经过模拟训练的模型进行调整 | 转移后的残余间隙 |
| 数字孪生校准 | 使用与数据相连的虚拟模型,以确保仿真结果随时间推移保持一致 | 部署后的模型漂移 |
数字孪生是物理系统的动态、不断演进的虚拟模型,它通过数据与物理系统保持连接。在sim 与现实之间的差距中,数字孪生构建了环境 ,形成了一个反馈循环:将现实世界中的行为与模型进行对比,并利用差异来优化仿真和人工智能系统。 可以利用Ansys 的Twin Builder软件和Ansys 的TwinAI软件等工具,构建降阶和基于仿真的数字孪生。通过将虚拟模型与实际测量数据紧密关联,数字孪生可防止仿真结果随时间推移而偏离现实。
要理解sim 与真实世界之间的差距,最好的方法是比较物理AI模型的各种训练方式。
| 维度 | 仅限模拟的培训 | 仅限真实场景的训练 | 仿真 +sim 到实测的方法 |
| 数据费用 | 低 | 高 | 低至中等 |
| 训练中的安全 | 高(无身体风险) | 低(实际暴露量) | 高 |
| 边界情况的覆盖 | Broad,如果建模的话 | 仅限于实际发生的情况 | 范围广泛且可控 |
| 实际准确率 | 受差距的限制 | 已报告病例数较高 | 转让潜力有所提高,但须符合以下条件:验证 |
| 典型用途 | 早期开发 | 最终版验证 | 许多基于物理的AI开发 工作流 |
从实际应用来看,仅靠纯粹的仿真或纯粹的真实世界数据都不足以满足需求。许多物理人工智能(Physical AI)开发 工作流将基于仿真的训练与真实世界的校准、微调以及验证 相结合,从而将所学知识可靠地迁移到硬件上。
图3 — 培训方法对比。 纯模拟训练成本低且安全,但受限于数据缺口;纯实测训练虽能准确处理已观测案例,但成本高且风险大;而混合方法——高保真模拟结合sim-to-real技术——兼具两者的优势。混合方法一栏被突出显示,作为物理人工智能(Physical AI)的发展路径。
实际上,基于仿真的方法与基于真实世界的方法是相辅相成的。许多物理人工智能(开发 )工作流会利用仿真来扩大场景覆盖范围并减少物理测试,随后利用测量数据进行校准、微调,并在物理硬件上进行最终的验证 。
更快、成本更低的培训
基于仿真的培训取代了耗时且成本高昂的实物试验。工程师无需为每种场景都构建硬件,即可生成大量、多样化的数据集 。
更安全开发
在早期测试阶段,可以在虚拟环境中探索危险的边界情况——例如行人突然走上路面,或组件发生故障——而无需让人员、硬件或周围环境实际暴露于这些情境之中。
更广泛的情景覆盖
仿真能够按需生成罕见和极端的条件,因此模型会面临在实际数据采集过程中极少出现的情况。
更高的实际应用可靠性
这些方法的目的是缩小模拟行为与真实世界行为之间的差异,从而为可靠地部署物理人工智能提供所需的证据和信心。
| 行业 | 在哪些情况下,sim 与实际值之间的差距至关重要 | 示例 |
| 汽车 | ADAS 及自动驾驶的感知与控制 | 路试前的传感器和驾驶场景仿真 |
| 机器人 | 操作与导航政策 | 在模拟环境中训练抓取和运动,然后迁移到硬件上 |
| 航空航天 | 无人机自主导航 | 在飞行前模拟飞行条件和障碍物 |
| 医疗 | 外科和辅助机器人 | 在物理试验受限的情况下,通过仿真对控制进行验证 |
保真度与成本
更高保真度的仿真虽然缩小了差距,但需要投入更多的建模工作和计算资源。为开发 的每个阶段选择合适的保真度,是工程设计中的一项核心权衡。
感知现实主义
再现真实的传感器行为——包括误报 、畸变以及故障 等模式——是弥合差距过程中最困难的部分之一,也是基于物理的传感器仿真最具价值之处。
验证 《反现实》
要弥合这一差距,需要持续地将仿真结果与物理测量结果进行验证 ,而这取决于能否获取真实世界数据以及是否进行了严格的校准。
计算需求
高保真、大规模仿真和合成数据生成对计算基础设施提出了极高的要求。
什么是sim 与实际性能之间的差距? sim与实际性能之间的差距,是指AI模型在模拟环境中的表现与其在现实世界中物理硬件上的表现之间的差异。出现这种差距的原因在于,模拟只是对现实的近似,而非对其的精确再现。
为什么sim 与实际运行之间的差距对物理人工智能如此重要?物理人工智能系统在现实世界中运行,而其中的错误可能会影响安全性和可靠性。一个在模拟环境中运行正常但在硬件上却会失败的模型是无法部署的,因此弥合这一差距对于实现值得信赖的自主性至关重要。
是什么导致了sim 与实际数据之间的差距?主要原因包括物理保真度近似、模拟信号与实际传感器信号之间的差异、未建模的现实世界动态(如天气和人类行为),以及多样化的现实世界训练数据匮乏。随着系统老化或环境变化,模型漂移会在部署后进一步加剧这一差距。
多物理场仿真如何帮助缩小sim 与现实之间的差距?多物理场仿真对相互作用的物理领域(包括机械、热、流体、电磁和光学)进行建模,这些领域决定了传感器如何感知以及机器如何运作。更高的物理保真度能够生成更贴近现实的培训环境和合成数据,从而缩小这一差距。
什么是域随机化?域随机化是一种训练技术,它会将模拟参数(如光照、纹理、传感器误报 以及物体布局 )在宽泛的范围内进行变化。通过这种方式训练的模型能够学习在各种条件下都具有泛化能力的特征,因此能够更可靠地迁移到真实环境中。
什么是合成数据,为什么其准确性很重要?合成数据是指通过模拟生成的训练数据,而非从现实世界中收集的数据。其价值取决于准确性:只有高保真、物理上准确的合成数据才能帮助模型实现泛化;不准确的合成数据则会加剧这种差距。
数字孪生如何有助于弥合sim 与现实之间的差距?数字孪生在物理系统与其虚拟模型之间维持着数据连接。这种连接形成了一个反馈循环,使模拟结果始终与现实世界中的行为保持一致,并支持对人工智能系统的持续优化。
sim 与现实之间的差距能否完全消除?不能。模拟总会在一定程度上对现实进行近似。我们的目标是通过高保真模拟、合成数据、领域随机化和数字孪生校准,将这一差距缩小到足以确保模型能够可靠迁移,并最终在物理硬件上进行验证 。
弥合sim 与实际之间的差距并非仅靠单一工具就能解决。物理保真度、传感器不匹配、未建模的动力学、数据匮乏以及部署后出现的漂移等问题,均由 新思科技 及Ansys 产品组合的不同部分分别予以解决。
提高虚拟环境的保真度。培训环境的准确性取决于其底层的物理模型。Ansys 机械结构有限元分析软件和Ansys 运动多体动力学仿真软件可对机器的运动和载荷进行建模,而Ansys Maxwell高级电磁场求解器和Ansys Motor-CAD专用于多物理场仿真的电动机设计工具则可对驱动机器的执行器进行建模。 在感知方面,Ansys 的 AVxcelerate Sensors自动驾驶车辆传感器仿真软件可再现激光雷达 及摄像头的行为,而Ansys HFSS高频电磁仿真软件则涵盖雷达仿真。对于接触频繁的事件、碰撞以及其他简单接触模型难以准确近似的严苛载荷行为,Ansys 的 LS-DYNA显式动力学求解器可提供相应的物理建模支持。
根据实测行为对仿真模型进行校准。提高仿真保真度可缩小偏差;校准则可消除剩余偏差。Ansys optiSLang工艺集成与设计优化软件可执行系统辨识和参数校准,从而使模型与物理测量结果相吻合,因此下一个培训周期将基于一个与运行硬件相匹配的模型开始。
在不增加计算资源的情况下扩展覆盖范围。 Ansys SimAI人工智能平台基于高保真结果对替代模型进行训练,使团队能够评估比直接仿真所能覆盖的条件多得多的情况。这正是“选择性保真度”的实用之处:在转移误差最为关键的环节集中详细的物理建模,而在其他环节则采用更快的替代模型。
确保已部署系统随时间推移保持一致。Ansys 的Twin Builder仿真型数字孪生平台和Ansys 的TwinAI人工智能驱动型数字孪生软件,可在已部署系统与其模型之间维持数据连接,从而及时检测并纠正部署后出现的偏差,避免偏差不断累积。
在控制软件进入硬件阶段之前对其进行测试。Ansys TPT 嵌入式软件测试 工具会在模型在环(MiL)、软件在环(SiL)和硬件在环(HiL)阶段运行相同的测试用例,因此,在向物理系统迈进的每个步骤中,都会再次验证在仿真中观察到的行为。
验证训练好的模型在目标芯片上的运行情况。早期硬件验证(验证 )有助于确保在仿真中满足延迟、功耗和热预算要求的策略,在部署的处理器上也能达到相同的效果。新思科技 Platform Architect(基于 SystemC 的 SoC 架构分析与优化工具,新思科技 )、Virtualizer( 虚拟样机 创建与部署软件及其生成的 VDK,新思科技 )、ZeBu硬件(硬件加速 ,用于 SoC 验证)和软件(初启 ),以及新思科技 HAPS硅前原型设计,这些工具在硬件尚未存在时,各自验证了性能的不同方面。这使团队能够充满信心地弥合sim 与实际之间的差距。