定义:物理人工智能(Physical AI)是一类将人工智能(AI)与能够感知物理世界并在此世界中采取行动的硬件相连接的应用,使机器能够实时感知周围环境、进行推理、采取行动并适应环境。
工作原理:物理人工智能系统持续运行“感知—推理—执行—学习”循环,融合多模态传感器数据,在专用边缘芯片上进行人工智能推理,并驱动执行器——这些系统主要基于模拟生成的合成数据进行训练。
核心挑战: sim 与现实之间的差距——即模型在模拟环境中的表现与在现实世界中的表现之间的差异——是与可靠性、能效比 、延迟和安全性并列的跨领域障碍。
应用领域:汽车(ADAS 和自动驾驶)、机器人、航空航天(无人机)、医疗保健和制造业——凡是机器必须在没有人类干预的情况下,根据不断变化的现实世界条件采取行动的领域。
其背后的工程技术:构建物理人工智能涵盖从硅芯片到系统的各个层面。通过高保真多物理场仿真来训练和验证模型,并通过软硬件协同设计打造出能高效运行这些模型的节能型硅芯片。 新思科技 Ansys 提供了涵盖这一全领域的仿真和芯片设计能力。
物理人工智能(Physical AI)是指将数字人工智能(AI)工具与能够在物理世界中感知并执行动作的硬件相连接的应用。这种集成使机器能够自主行动,并实时适应现实世界中的情况。 过去,机器要么执行预先定义的一系列动作,要么通过逻辑决策从多种可能选项中选择动作。而基于人工智能的物理系统则利用各种人工智能算法来解读数据并推导出动作,其功能已超越简单的“如果-那么-否则”算法。
生成式人工智能的最新进展、机器学习的改进以及边缘计算的实用解决方案,推动了物理人工智能应用的日益普及。基于人工智能的物理系统正被应用于越来越多的领域,从而无需人工介入,即可根据不断变化的数据做出决策。
随着这些系统逐渐应用于汽车、航空航天和医疗保健等行业的安全关键型应用,确保其可靠性和可预测性变得至关重要。这要求在人工智能模型开发 的同时,采用稳健的验证 和验证方法。
自主系统在许多应用中运用了物理人工智能,不仅利用先进的AI技术和最新的硬件进行感知、计算和物理操作,还通过收集、解读、根据信息采取行动并从中学习来实现这一目标。
为了支持这一生命周期,开发 越来越依赖于可扩展的仿真环境,这些环境使工程师能够在实际部署之前,在各种条件下测试系统行为。
AI 模型
任何物理领域人工智能应用的基础步骤都是构建和训练其人工智能模型。为此,工程师首先需要确定哪些人工智能技术最适合预测团队正在实现自动化的物理系统的行为。这包括大型语言模型(LLMs)、小型语言模型,以及机器学习(ML)等更传统的人工智能工具。
基础模型是物理人工智能中应用最广泛的模型类型。由于它们是在物理数据上进行训练的,因此被称为世界基础模型(WFM)。由于这些神经网络是在大规模数据集数据集 上进行训练的,因此能够处理范围广泛的物理现象用例 。
硬件
模型训练完成后,下一步是组装物理人工智能应用所需的硬件。这些硬件可分为四类:训练环境、传感器、计算资源以及执行器和输出设备。
培训环境
负责训练人工智能模型的团队利用高性能计算(HPC) 数据中心来构建和训练这些模型。NVIDIA Omniverse就是一个很好的例子,它是一组用于开发物理人工智能的库和微服务,可在AWS、Azure或自建计算基础设施上的GPU 支持的硬件上运行。
这些环境通常采用数字孪生技术,以创建现实世界系统的虚拟模型,从而实现更加可控、可重复且可扩展的实验。
传感器
连接物理世界与数字世界的输入通道是一组为人工智能代理提供信息的传感器。工程师们使用“多模态感知”这一术语来指代从多个传感器获取高保真数据的过程。最常见的传感器类型包括:
传感类型 | 对象 | 环境 | 内部 | 位置 |
用法 | ● 判断物体是否存在、其大小、位置及运动情况 ● 提供足够的传感器数据,以便通过标签或推理来识别物体 | ● 测量环境的物理性质
| ● 测量物理AI硬件的物理特性
| ● 测量物理 AI 硬件的位置 |
例子 | ● 摄像机 ● 红外摄像机 ● 数码相机 ● 激光雷达 ● 雷达 ● 声呐 ● 超声波传感器 | ● 麦克风 ● 温度传感器 ● 湿度传感器 ● 气体检测仪 ● 压力传感器 | ● 流量传感器 ● 加速度计 ● 陀螺仪 ● 力与扭矩传感器 ● 编码器 ● 触觉传感器
| ● GPS ● 邻近 传感器 ● 实时定位系统(RTLS) |
计算资源
物理人工智能系统结合使用远程、本地和边缘计算资源,通过计算来解析传感器数据并做出决策。边缘计算不仅利用了热管理、多芯片封装和电源管理方面的技术进步,还可以与其他硬件一同部署,以实时访问人工智能模型。
执行器和输出
物理人工智能系统与现实世界的交互,是通过将指令转换为动作的执行器,以及向人类及其他数字和物理系统提供信息的输出设备来实现的。执行器和输出设备的常见例子包括:
● 电机
● 线性执行器
● 末端执行器
● 液压活塞
● 气动活塞
● 泵
● 电磁阀
● 阀门
● 音圈
● 压电致动器
● 显示
● 演讲嘉宾
● 安全灯
● 蓝牙、Wi-Fi 及其他协议
过程
人工智能模型与硬件整合到一个实体人工智能系统中,以执行其被分配的任务。业界将这一过程分为四个步骤:
1. 感知
第一步是收集关于系统周围物理世界的数据。系统内部或附近的各种传感器产生数据集 ,物理人工智能系统将这些数据分解为有助于理解物理环境并就此做出决策的信息。
2. Reason
在第二步中,上述人工智能工具便发挥作用。人工智能工作流会调用数据集 ,以此解读当前状况,并决定如何应对。这超越了传统机器控制系统中的“如果-那么-否则”逻辑,实现了实时决策。
3. 执行
在第三步中,AI 工作流会根据推理步骤中生成的建议,为执行器生成指令。这些操作还可以发送至输出设备,例如扬声器和显示屏。
4. 学习
第四步将“执行”步骤的结果整合到AI模型中,以提升系统的性能。此步骤为可选步骤,可在数据中心或实验室远程完成。学习步骤也可在设备本地进行,这种情况下便称为“具身AI”。
要更好地理解人工智能驱动的应用程序是如何应用这些步骤的,一个好方法是看一个简单的例子,比如一个机器人arm ,它从托盘上取下六种不同的甜甜圈,并将每种各一个放入盒中。在此情境下:
实际上,在各种现实场景中验证这些步骤至关重要,因为物理人工智能系统必须操作 在各种无法通过物理方式进行全面测试的条件下仍能可靠运行。
传感器技术、基于GPU 的高性能计算、数字孪生环境以及人工智能工具方面的突破,极大地拓展了物理人工智能的应用范围。 这些进步还使得系统在部署到真实环境之前,能够通过仿真更早地对系统行为进行测试和验证 。直到最近,该技术主要应用于工业机器人的计算机视觉以及领先的-边缘自动驾驶汽车领域。如今,它正逐渐应用于航空航天、能源、医疗保健和消费品等行业的实际应用中。
以下是一些较为令人兴奋的应用:
尽管物理人工智能已从研发阶段迈向实际应用,但该技术仍面临一些重大挑战。研究人员和工程师正以日益加快的速度开发新技术和新工艺,以满足行业日益增长的需求。
一个根本性的跨领域挑战是Sim 与现实之间的差距,即在模拟环境中训练或验证的系统,在实际环境中运行时可能会表现出不同的行为。
最常见的处理难题包括:
如前所述,大多数物理人工智能实现方案都依赖于合成数据的生成来训练其基础模型。其中大部分数据是通过基于物理的仿真模型生成的。此外,在设计用于实现物理人工智能的电子和机械系统时,仿真也发挥着至关重要的作用。
高保真、基于物理原理的仿真对于提高合成数据的真实感,以及在开发 和测试过程中更好地再现真实世界的系统行为至关重要。
基于物理的仿真培训
训练物理人工智能模型(尤其是世界基础模型)需要大量且多样化的数据集 ,因此需要一个强大且多样化的仿真环境 。此类环境的典型代表是 新思科技 多物理场仿真工具集,其应用范围涵盖从硅芯片到整个系统。执行器的性能可通过以下工具进行建模:Ansys (Motor-CAD)——专用于多物理场仿真的电动机设计工具、Ansys (Maxwell)——先进的电磁场求解器、Ansys (Mechanical)——机械结构有限元分析软件,以及Ansys (Motion)——多体动力学仿真软件。 工程团队使用Ansys 、Zemax OpticStudio光学系统设计 及分析软件,以及Ansys Lumerical INTERCONNECT光子集成电路设计与仿真软件来设计复杂的光学传感器;Ansys HFSS高频电磁仿真软件用于雷达设计;Ansys AVxcelerate Sensors自动驾驶车辆传感器仿真软件用于激光雷达 ,该软件采用业界领先的 Ansys SPEOSCAD集成光学与照明仿真软件。
这种方法有助于扩大场景覆盖范围,使工程师能够在实际部署之前,评估系统在各种运行条件下的行为表现。
工程师必须首先创建准确且灵活的模型,然后使用标准 格式(如通用场景描述(USD))将这些模型导入NVIDIA Omniverse等环境。
在构建世界基础模型时,工程师可直接使用参数化物理模型,配合Ansys 的ModelCenter基于模型的系统工程软件等MBSE工具、 Ansys 的Twin Builder基于仿真的数字孪生平台等数字孪生环境,或Ansys 的TwinAI人工智能驱动的数字孪生软件。此外,工程师还可以使用Ansys 的optiSLang工艺集成与设计优化软件等优化工具,为上述工具创建降阶模型。
利用仿真推动物理人工智能硬件的设计
在帮助工程师设计用于实现物理人工智能的传感器、计算机、执行器和输出设备方面,仿真同样发挥着重要作用。电气工程师在芯片设计中高度依赖仿真,尤其是对于现代 CPU 和 GPU 中使用的多芯片封装。 现代芯片设计流程将包含新思科技 Platform Architect、新思科技 ZeBu®EmPower以及新思科技 SpyGlass Power等工具,用于通过RTL代码探索和评估功耗优化 。随后,该流程将引入新思科技 RedHawk-SC等工具,用于数字电源完整性 的签核。
在电子系统层面,工程师将使用Ansys 的Icepak电子散热仿真软件和Ansys 的Sherlock电子可靠性预测软件等工具,对芯片、电路板和机箱级封装进行可靠性建模,并优化其设计以满足功耗、散热和结构要求。
工程师在设计和开发 过程中使用相同的模型训练工具来模拟传感器。例如,通过结合使用Ansys Maxwell和Ansys Motion,可以配置一个复杂的步进电机及其在机器人arm 中的应用;而Ansys Fluent流体仿真软件则可模拟阀门开闭过程中的流体流动。 控制工程师将使用嵌入式软件产品(例如Ansys 的SCADE Suite基于模型的开发 环境)来设计算法,以执行物理AI系统所请求的操作。Ansys SCADE随后会自动生成经过安全认证的代码,该代码自动符合交通等安全关键型系统所需的众多安全标准。
一个使用Ansys 进行电机麦克斯韦模拟的示例
由于物理人工智能几乎使用所有类型的硬件,并且是在基于仿真的合成数据上进行训练的,因此一套全面的多物理场和多尺度仿真工具集——例如由 新思科技所提供的,对于推动该行业的发展至关重要。
这些功能共同支持更具可扩展性和更全面的验证 工作流,有助于在实际应用前提高对系统性能的信心。
构建可靠的物理人工智能涉及仿真、芯片和系统工程。 了解如何 新思科技 如何为可靠的物理人工智能系统提供从芯片到系统的工程解决方案。
延伸阅读
什么是Sim 与现实之间的差距?——工程师如何弥合仿真与现实之间的差距。
为什么新一代NPU对物理人工智能至关重要——人工智能加速器架构必须如何演进。
工程物理人工智能——为何基于物理的模拟至关重要。
从概念到流片:SiMa.ai 成功实现物理人工智能领域零缺陷的 A0 硅片——一项生产协同设计案例研究。
从代币到物理:神经形态计算将如何推动物理人工智能的发展——新兴的低功耗边缘架构。
通俗来说,什么是物理人工智能?物理 人工智能是指与硬件相连、能够在物理世界中感知并采取行动的人工智能。物理人工智能系统不仅能产生数字输出,还能感知周围环境、决定如何行动、通过电机或其他执行器采取行动,并能从结果中学习。
物理人工智能与传统机器人技术或自动化有何不同?传统机器人和自动化遵循预先编程或基于规则的逻辑。物理人工智能则用人工智能模型取代了这种固定逻辑,这些模型能够解读传感器数据并推断出相应行动,从而使系统能够适应不断变化且不可预测的现实世界条件。
物理人工智能与具身人工智能是一回事吗?具身 人工智能是物理人工智能的一种形式,它强调在设备本身进行学习——即“学习”步骤在本地进行,而非仅在数据中心进行。所有具身人工智能都属于物理人工智能,但并非所有物理人工智能都在设备上进行学习。
物理人工智能与代理人工智能有什么区别?代理人工智能能够自主规划并执行多步骤任务以实现目标。当其动作与影响物理世界的传感器和执行器相连,而非仅停留在纯数字层面时,便成为物理人工智能。
什么是sim与现实之间的 差距? sim 模拟与现实之间的差距, 是指 AI模型在模拟环境中的表现与其在现实世界中物理硬件上的实际表现之间的差异。通过高保真模拟、合成数据和数字孪生来弥合这一差距,是部署物理AI面临的核心挑战。
物理人工智能需要哪些硬件?物理人工智能融合了传感器(摄像头、激光雷达 、雷达等)、边缘计算——越来越多地采用专为高效设备端推理设计的专用 神经处理单元——以及将决策转化为物理动作的执行器,所有这些都必须在严格的功耗、延迟和热设计预算范围内运行。
仿真在物理人工智能中是如何应用的?仿真发挥着双重作用:一是生成物理上准确的合成数据来训练模型,二是设计运行这些模型的传感器和芯片。高保真、基于物理的多物理场仿真不仅能提高训练数据的真实感,还能在实际部署前验证系统行为。
哪些行业应用了物理人工智能?汽车行业(ADAS 和自动驾驶)、机器人与制造业、航空航天(无人机)、医疗保健(手术和监测机器人)以及物流(移动设备 自主机器人)是较早采用该技术的领域,随着技术日趋成熟,其应用范围也在不断扩大。