解決 AI 硬體中的功耗挑戰

人工智慧 (AI)加速器在神經網路等 AI 類型的工作中扮演關鍵角色。這些高效能的平行計算機可以提供高資料量所需的處理效率。隨著人工智慧在我們的生活中扮演日益重要的角色，從智慧揚聲器等消費性電子產品到自動化工廠等工業應用，我們都必須考慮這些應用的能源效率。舉例來說，在設計 AI 加速器時，設計的初期就可以有機會讓功耗最佳化。

事實上，考慮到對環境造成的影響，人工智慧硬體的功耗已經成為值得重點關注的領域。AI 研發公司 OpenAI 的資料顯示，要產出一流的 AI 模型所需要的運算資源，平均每 3.4 個月就會增加一倍。麻薩諸塞大學阿默斯特分校的研究人員預估，訓練單一深度學習模型(高能源需求的一種運算) 所產生的碳排放量高達 626,155 磅，相當於五輛汽車在其整個生命週期中的排放總量。一旦將人工智慧模型用於實際應用上，其能耗又會進一步增加。AI 硬體通常由具有上千片晶片(處理元件) 的大型陣列組成，此設計需要十億多個邏輯閘，因此極其耗電。降低功耗可帶來諸多好處，包括降低成本、延長電池續航力，同時能將對環境造成的影響降到最低。

其中一項功耗方面要注意的關鍵挑戰即是glitch功耗。在電子設計中，如果組合電路路徑內的訊號時序不平衡，就會發生故障而造成競爭條件(race condition)，進而引起不必要的訊號轉換(glitches)，並產生額外的動態功率。Glitches的數量與系統單晶片(SoC)執行的操作數量成正比。您只要想想在硬體上運行 AI 演算法需要多麼大量的操作數量，就能理解為什麼glitch功耗對於整體功耗會產生如此大的影響 (在許多情況下，一個晶片的glitch功耗可佔其總功率的 40%)。此外，glitch還可能引發電遷移(EM) 和 IR 壓降的問題 (甚至在電源佈線網中也可能發生)。

由於 AI 的硬體架構具有對稱性和重複性，所以在設計週期初期就能找到在glitch問題上最可行的微架構(micro-architecture)是非常重要的。就目前來說，glitch功耗通常只能在具有時序延遲的邏輯閘級模擬時，才能在流程的後期進行計算。到了這個階段，要再修改微架構、在實作過程中將glitch功耗納入功耗預算，或者執行特定的電路修改流程 (ECO) 來降低glitch功耗，都為時已晚。在系統或 RTL 層級就能確認面臨glitch問題時的最佳微架構，是更好的做法。透過降低大數量且高度重複的晶片功耗，得以在晶片層級上大幅節省能耗。

若要辨識glitch並確定它們所造成的額外功耗，設計人員需要特別注意元件延遲和線路延遲。幸運的是，有些故glitch功耗分析和最佳化工具可以利用準確的延遲資訊，來擷取這些glitch並測量額外切換動作所造成的功耗。舉例來說，實作工具可以利用glitch所產生的額外切換來做出更好的決策，藉以抑制glitch的數量或使其對 EMIR 的影響最小化。