「模擬與現實的差距」是指人工智慧模型在模擬環境中的行為表現,與其在現實世界中實體硬體上的表現之間的差異。感知或控制模型在模擬器內可能取得優異的結果,但當遇到模擬未能完美呈現的狀況時,其行為便可能變得難以預測。
對於物理 AI ——包括自動駕駛車輛、機器人、無人機以及其他能在實體世界中感知並採取行動的機器——而言,這道鴻溝所帶來的影響,遠比在純數位應用中更為重大。若推薦模型對罕見情況判斷失當,便會產生不當的建議;而實體系統若對罕見情況判斷失當,則可能在安全與可靠性要求極高的環境中發生故障。因此,彌合模擬與現實之間的鴻溝,是實現值得信賴的自主系統的基礎。
當模型是基於模擬或合成數據進行訓練時,這項差距便顯得至關重要,因為真實世界的數據往往稀缺、成本高昂,或難以安全地蒐集。這正是許多物理 AI 開發計畫的現況,因此「模擬到真實」的轉移學習已成為一門重要的工程學科。
圖 1 — 模擬與實測差距的成因。 在模擬環境中訓練的模型(左)被部署到實體世界中(右)。模擬表現與實際表現之間的差異即為「模擬到現實的差距」。造成此差距的四大因素包括:物理保真度的近似、感測器不匹配、未建模的動力學,以及訓練資料匱乏。用於縮小此差距的方法,各自針對上述一項或多項因素進行改善。
模擬是現實的模型,而非現實本身。造成這種差距的因素有四種,而每種因素都對應著工程師用來彌合此差距的一種方法。
| 差距的來源 | 這代表什麼意思 | 如何處理此問題 |
| 物理真實度 | 模擬器會對摩擦、接觸力、光線及電磁行為進行近似模擬;這些微小的近似會累積產生影響。 | 高保真多物理場 模擬 |
| 感測器不匹配 | 合成相機、雷達和光達訊號在雜訊、失真及邊界情況下的響應方面,與真實感測器的輸出有所不同。 | 基於物理的感測器模擬 |
| 未建模的動力學 | 真實環境中存在著難以預料的變因——例如天氣、光線以及人類行為。 | 網域隨機化 |
| 數據匱乏 | 開發團隊很少能擁有涵蓋系統可能遇到的所有情況、且具多樣性的真實世界資料集。 | 合成數據生成 |
第五個因素並非在初期出現,而是在部署之後才顯現。所謂「模型漂移」,是指隨著物理系統老化或其環境變化,靜態模擬結果逐漸偏離實際物理系統的現象。這種現象會在運作生命週期中擴大現有的差距,而非造成新的差距;正因如此,具備回饋功能的數位孿生能持續解決此問題,而非僅進行一次性的修正。
工程師們透過讓模擬更貼近現實,並利用更能反映物理世界的數據來訓練模型,從而縮小這項差距。這個過程是迭代的:現實世界的結果會反饋到模擬中,使模擬更加精確。
圖 2 — 彌合差距。 四種方法相互協作。高保真多物理場 模擬可產生精確的虛擬環境;合成數據生成技術將這些環境轉化為訓練數據;領域隨機化技術透過改變條件來提升模型的泛化能力;而數位孿生則將實際行為與模型進行比對,並將修正結果回饋至模型。實際環境的測量數據用於系統辨識與校準,並在下一輪訓練或驗證週期開始前,更新模型參數並修正殘差。虛線反饋箭頭顯示了此循環:每次實際部署都能改善下一次的模擬。
1. 高保真《多物理場 》模擬
模擬越能精確重現系統將面臨的物理現象,虛擬訓練與實際部署之間的差距就越小。多物理場 模擬模型能模擬相互作用的物理領域(機械、熱力、流體、電磁及光學),這些領域共同形塑了感測器的感知方式與機器的運動模式。
實際上,工程師未必會對環境的每個部分都採用最高保真度。他們會採取「選擇性保真度」的策略,將詳細的物理模擬集中在傳輸誤差最關鍵的交互作用上,例如接觸頻繁的事件、感測器行為、高精度運動以及受安全限制的動力學;而在其他部分則使用降階模型或替代模型,以維持訓練吞吐量。
基於物理的模擬讓工程師能夠以數位方式設計、測試和優化感測器及其所支援的系統,這不僅能降低對實體原型的依賴,還能讓工程師在開發初期便評估更多條件,並解答諸如天氣或材料反射率如何影響性能等問題。 感測器與致動器的行為可透過以下軟體進行建模:用於 LiDAR 和相機模擬的Ansys AVxcelerate Sensors軟體、用於雷達和高頻電磁學的Ansys HFSS軟體,以及用於模擬致動器電機械行為的Ansys Maxwell軟體、Ansys Motion軟體和Ansys Motor-CAD軟體。 Ansys,隸屬於 新思科技旗下,提供此多物理場 產品組合。關於基於物理的模擬作為物理 AI 基礎之作用,請參閱《Engineering物理 AI 》一文以獲取進一步探討。
2. 合成數據生成
當真實世界資料集匱乏時,透過模擬生成的合成資料便能填補此缺口——前提是這些資料必須夠精確,足以反映系統將面臨的實際狀況。高保真物理模擬正是讓合成資料可靠而非誤導的關鍵。可擴展的機器人技術與虛擬世界平台能夠統籌場景、資產、情境及策略訓練,而高保真模擬則為那些最講求精準度的互動情境,提供以物理原理為基礎的感測器與系統資料。
ADI 正運用Ansys Mechanical有限元素分析軟體,以提升NVIDIA Isaac Sim環境中纜線與連接器模型的精確度,藉此訓練並驗證各項用於纜線管理的機器人操作策略。Isaac Sim 是一個開源機器人模擬框架,可讓開發人員在基於物理的虛擬環境中,對人工智慧驅動的機器人解決方案進行模擬與測試。 Mechanical 軟體用於計算各項參數,藉此調整 Isaac Sim 中建立連接所需的引擎與模型——例如角度限制、斷裂力及彈性等——這些參數隨後會被封裝成通用場景描述(OpenUSD)資產,並整合至 ADI 的 Isaac Sim 環境中。
3. 網域隨機化
「領域隨機化」是在訓練過程中,有意識地將模擬參數(例如光照、紋理、感測器雜訊、物件配置及物理特性)在廣泛範圍內進行變動。當模型接觸到大量隨機變體時,便會學習到在各種條件下都成立的特徵,因此真實世界對其而言僅是另一種變體,而非陌生的環境。這是一種廣泛應用的技術,用於提升從模擬到現實的遷移能力,特別是在結合基於物理的模擬與真實世界驗證時效果更佳。
團隊會結合多種互補的方法,而非僅依賴其中一種。每種方法都針對差距的不同成因。
| 方法 | 功能說明 | 所涉及的一手資料 |
| 高保真模擬 | 提高訓練環境的物理精確度 | 物理真實度、感測器不匹配 |
| 網域隨機化 | 在隨機化的條件下進行訓練,以使模型具備泛化能力 | 未建模的動力學 |
| 系統辨識 | 校準模擬結果,使其與測得的物理行為相符 | 物理真實度 |
| 從模擬到現實的微調 | 利用少量真實資料來調整一個經模擬訓練的模型 | 轉移後的殘餘間隙 |
| 數位孿生校準 | 利用與資料相連的虛擬模型,確保模擬結果隨時間推移始終保持一致 | 部署後的模型漂移 |
數位孿生(數位孿生 )是實體系統的動態、持續演進的虛擬模型,透過數據與該實體系統保持連結。在「模擬與現實的落差」背景下,數位孿生提供了一個回饋迴路:將現實世界的行為與模型進行比對,並利用其中的差異來優化模擬與人工智慧系統。 可透過Ansys Twin Builder軟體及Ansys TwinAI軟體等工具,建構降階與基於模擬的數位孿生。透過將虛擬模型錨定於實際測量數據,數位孿生能防止模擬結果隨時間推移而偏離現實。
要理解「模擬與現實之間的差距」,最有效的方法是比較物理 AI 模型的各種訓練方式。
| 維度 | 僅限模擬的訓練 | 僅限真實環境的訓練 | 模擬 + 模擬轉實測方法 |
| 數據費用 | 低 | 高 | 低至中等 |
| 訓練期間的安全須知 | 高(無身體風險) | 低(實際暴露量) | 高 |
| 邊緣情況的涵蓋範圍 | 若以模型來描述,範圍很廣 | 僅限於實際發生的情況 | 範圍廣泛且可控 |
| 實際精準度 | 受差距所限 | 已知病例數偏高 | 轉移潛力已獲得提升,尚待驗證 |
| 典型用途 | 早期發展 | 最終驗證 | 多種物理 AI 開發工作流程 |
實際上的結論是,單靠純粹的模擬或純粹的真實世界資料,都不足以達成目標。許多物理 AI 開發工作流程會將基於模擬的訓練與真實世界的校準、微調及驗證相結合,藉此將所學內容可靠地轉移至硬體上。
圖 3 — 訓練方法比較。 純模擬訓練成本低且安全,但受限於實境與模擬之間的差距;純實境訓練雖能準確處理已觀察到的案例,但成本高且風險大;而結合式方法——高保真模擬加上「模擬轉實境」技術——則兼具兩者的優勢。其中「結合式」欄位已標示為物理 AI 的實作路徑。
實際上,基於模擬的方法與實機測試的方法是相輔相成的。許多物理 AI 開發工作流程會先利用模擬來擴展情境涵蓋範圍並減少實機測試,隨後再利用測量數據進行校準、微調,並在實機硬體上進行最終驗證。
更快速、成本更低的培訓
模擬訓練取代了耗時且昂貴的實體測試。工程師無需為每種情境建置硬體,即可產生龐大且多樣化的資料集。
更安全的開發
在早期測試階段,可透過虛擬環境模擬各種危險的邊界情況——例如行人突然步出,或元件發生故障——而無需讓人員、硬體或周遭環境實際暴露於這些情境之中。
更廣泛的情境涵蓋範圍
模擬能夠按需重現罕見且極端的狀況,因此模型得以接觸到在實際資料蒐集過程中極少會出現的情境。
更佳的實際應用可靠性
這些方法的目的是為了減少模擬行為與實際行為之間的差異,從而提升可靠部署物理 AI 所需的證據與信心。
| 產業 | 何時「模擬與現實之間的差距」至關重要 | 範例 |
| 汽車 | 先進駕駛輔助系統(ADAS)與自動駕駛的感知與控制 | 道路測試前的感測器與駕駛情境模擬 |
| 機器人學 | 操作與導航政策 | 在模擬環境中訓練抓取與動作,然後轉移至硬體 |
| 航太 | 無人機自主導航 | 在飛行前模擬飛行狀況與障礙物 |
| 醫療保健 | 外科與輔助機器人 | 在實體試驗受限的情況下,透過模擬進行控制驗證 |
忠實度與成本
更高精度的模擬雖能縮小差距,但需要投入更多的建模工作與運算資源。針對每個開發階段選擇適當的精密度,是工程上的核心權衡考量。
感測器現實主義
重現真實感測器的行為——包括雜訊、失真及故障模式——是彌合差距最困難的部分之一,而這正是基於物理的感測器模擬最能發揮價值之處。
與現實的對照驗證
要縮小這項差距,必須持續將模擬結果與實測數據進行比對驗證,而這取決於能否取得真實世界數據以及是否能進行嚴謹的校準。
運算需求
高保真、大規模的模擬與合成數據生成,對運算基礎架構提出了極高的要求。
何謂「模擬與實際之間的差距」?所謂「模擬與實際之間的差距」,是指人工智慧模型在模擬環境中的表現,與其在現實世界中實體硬體上的表現之間的差異。這種差距之所以會出現,是因為模擬僅是對現實的近似,而非精確重現。
為何「模擬與實機之間的差距」對物理 AI 至關重要? 物理 AI 系統運作於真實世界中,而錯誤可能影響安全與可靠性。一個在模擬環境中運作正常、但在硬體上卻會失敗的模型是無法部署的,因此彌合這項差距對於實現值得信賴的自動駕駛至關重要。
造成模擬與現實之間差距的原因為何?主要原因包括:物理保真度的近似處理、模擬與真實感測器訊號之間的差異、未納入模型的現實世界動態(例如天氣與人類行為),以及多樣化的現實世界訓練資料匱乏。隨著系統老化或環境變化,模型漂移會進一步擴大部署後的差距。
多物理場 模擬如何協助縮小「模擬與現實」之間的差距? 多物理場 模擬能建模相互作用的物理領域——包括機械、熱力、流體、電磁及光學——這些領域決定了感測器如何感知以及機器如何運作。更高的物理保真度能產生更貼近現實的訓練環境與合成數據,從而縮小這項差距。
何謂「領域隨機化」?領域隨機化是一種訓練技術,透過在廣泛範圍內變動模擬參數(例如光照、紋理、感測器雜訊及物件配置)來進行訓練。以此方式訓練的模型能學習出在各種條件下皆具泛化能力的特徵,因此能更可靠地將學習成果轉移至真實環境中。
什麼是合成數據,為什麼其準確性如此重要?合成數據是指透過模擬產生,而非從現實世界中蒐集而來的訓練數據。其實用性取決於準確性:唯有高保真且物理上精確的合成數據,才能幫助模型進行泛化;不準確的合成數據則可能擴大這種差距。
數位孿生如何有助於彌合模擬與現實之間的差距? 數位孿生 能在實體系統與其虛擬模型之間維持資料連結。此連結形成一個回饋迴路,使模擬結果能與現實世界的行為保持一致,並支援人工智慧系統的持續優化。
能否完全消除模擬與現實之間的差距?不能。模擬始終只能在某種程度上近似現實。目標是透過高保真模擬、合成數據、領域隨機化及數位孿生校準,將差距縮小到足以讓模型可靠地轉移,並最終在實體硬體上進行驗證。
彌合模擬與現實之間的差距並非單一工具所能解決的問題。物理精確度、感測器不匹配、未建模的動力學、數據匱乏,以及部署後出現的漂移,這些問題分別由該系統的不同部分來處理 新思科技 以及 Ansys 產品組合的各部分,分別針對上述各項問題進行處理。
提升虛擬環境的保真度。訓練環境的精確度取決於其底層的物理模型。Ansys 機械結構有限元素分析軟體與Ansys 運動多體動力學模擬軟體,用於建模機器的運動與載荷;而Ansys Maxwell進階電磁場求解器及Ansys Motor-CAD專用電動機設計工具(適用於多物理場 模擬),則用於建模驅動機器的致動器。 在感測方面,Ansys 的 AVxcelerate Sensors自動駕駛車輛感測器模擬軟體可重現雷射雷達(LiDAR)與攝影機的運作行為,而Ansys 的 HFSS高頻電磁模擬軟體則涵蓋雷達模擬。針對接觸頻繁的事件、衝擊以及其他單純接觸模型難以精確近似的嚴苛載荷行為,Ansys 的 LS-DYNA顯式動力學求解器可提供相應的物理模擬。
根據實測行為校準模擬結果。提高保真度可縮小差距;校準則能彌合剩餘的差距。Ansys 的 optiSLang製程整合與設計優化軟體,可執行系統辨識與參數校準,使模型與實測數據相符,因此下一個訓練週期將基於一個與其運行硬體相符的模型展開。
在不增加運算資源的情況下擴展涵蓋範圍。 Ansys SimAI人工智慧平台利用高保真度結果來訓練替代模型,讓團隊能夠評估遠比直接模擬所能涵蓋的更多條件。這正是「選擇性保真度」的實用之處:將詳細的物理模擬集中在轉移誤差最關鍵的部位,而在其他部位則採用更快速的替代模型。
確保已部署系統隨時間推移保持與模型一致。Ansys 基於模擬的Twin Builder 數位孿生 平台,以及Ansys 由人工智慧驅動的TwinAI 數位孿生 軟體,能維持已部署系統與其模型之間的資料連結,從而偵測並修正部署後出現的偏差,避免其累積。
在控制軟體部署至硬體之前進行測試。 Ansys TPT 嵌入式軟體測試工具會在「模型在迴路中」(Model-in-the-Loop)、「軟體在迴路中」(Software-in-the-Loop)及「硬體在迴路中」(Hardware-in-the-Loop)等階段執行相同的測試案例,因此,在模擬中觀察到的行為,會在邁向實體系統的每個步驟中再次進行驗證。
驗證已訓練的模型在目標矽晶片上的運作表現。及早進行硬體驗證,有助於確保在模擬環境中符合延遲、功耗及熱設計預算的策略,在部署後的處理器上也能達到相同表現。 新思科技 Platform Architect 基於 SystemC 的 SoC 架構分析與優化工具、 新思科技 Virtualizer 虛擬原型建立與部署軟體及其產生的 VDK, 新思科技 ZeBu 用於 SoC 驗證與軟體啟動的硬體模擬,以及 新思科技 HAPS 晶片前原型開發,這些工具各自在硬體實體化之前,驗證了該效能的不同面向。這使團隊能夠充滿信心地彌合模擬與實機之間的差距。