電子設計自動化 (EDA)
系統
矽智財 (Silicon IP)
SolvNetPlus
教育與訓練課程
定義
AI 加速器 是一款高性能平行運算機器，專為高效處理人工智慧工作負載（例如神經網路）而設計。
在傳統的軟體設計中，電腦科學家主要專注於開發能解決特定問題的演算法，並將其實作於高階程序式語言中。為了充分利用現有硬體資源，某些演算法可以進行多執行緒化；然而，由於阿姆達爾定律的影響，要實現大規模並行處理卻相當困難。
AI 加速器 是如何運作的？
目前有兩種截然不同的「AI 加速器 」空間：資料中心與邊緣。
資料中心，尤其是hyperscale 資料中心，需要具備極高可擴展性的運算架構。針對此領域，晶片產業正朝著大規模發展。以Cerebras為例，該公司率先開發出「晶圓級引擎」（Wafer-Scale Engine，WSE）——這是迄今為止為深度學習系統打造的最大型晶片。透過提供更強大的運算能力、記憶體及通訊頻寬，WSE 相較於傳統架構，能以大幅提升的速度與可擴展性來支援人工智慧研究。
邊緣則代表了光譜的另一端。在此情境下，能源效率至關重要，且空間資源有限，因為智慧處理是分散在網路邊緣，而非集中於某個特定地點。AI 加速器 IP 已整合至邊緣 SoC 裝置中，這些裝置無論體積多麼微小，都能提供近乎即時的處理結果，以滿足例如在智慧型手機上運行的互動式程式，或是工業機器人等應用所需。
探索《AI 晶片 》的開發過程
這是一份必備指南，助您克服「AI 晶片 」的複雜性，並從設計到部署成功實現晶片開發成果。
各種硬體 AI 加速器的類型
雖然 WSE 是加速人工智慧應用的一種方法，但對於不需要單一大型晶片的應用，還有其他各種類型的硬體人工智慧加速器。例如：
- 圖形處理器 (GPU)
- 大規模多核心標量處理器
- 空間加速器，例如Google 的 Tensor Processing Unit (TPU)
這些都是獨立的晶片，可將數十至數百顆組合成更大的系統，以實現對大型神經網路的處理。粗粒度可重構架構（CGRA）在此領域正迅速崛起，因為它既能在效能與能源效率之間取得理想的平衡，又能靈活地編程不同的神經網路。
舉例來說，以 Megatron 為例，這是全球規模最大的基於 Transformer 的自然語言處理（NLP）神經網路模型之一。據NVIDIA 表示，由 NVIDIA 應用深度學習研究團隊所開發的 Megatron，提供了一個擁有 83 億個參數的 Transformer 語言模型，具備 8 路模型並行處理與 64 路資料並行處理能力。 為了執行這個通常在 33 億字資料集上預訓練的模型，該公司開發了 NVIDIA A100 GPU，其 FP16 運算效能可達 312 太浮點運算（teraFLOPs）。Google 的 TPU 則是另一個例子；它可透過 pod 配置進行組合，為神經網路模型的訓練提供超過 100 拍浮點運算（petaFLOPS）的處理效能。
來源：OpenAI
不同的AI 加速器 架構可能帶來不同的效能取捨，但它們都需搭配相應的軟體堆疊，才能發揮系統層級的效能；否則，硬體的效能便可能無法充分發揮。為了促進高階軟體框架（例如 TensorFlow™ 或 PyTorch™）與各種 AI 加速器之間的連通性，機器學習編譯器正逐漸興起，以實現互通性。Facebook 的 Glow編譯器便是其中一個代表性例子。
衡量 AI 加速器的效能一直是個備受爭議的話題。若要對機器學習硬體、軟體及服務的訓練與推論效能進行獨立評估，各團隊可參考MLPerf——這是一個由產學界工程師與研究人員組成的獨立組織。
隨著許多應用中的智慧處理逐漸移往邊緣，這使得人工智慧加速器之間的差異化程度日益加深。 邊緣運算涵蓋極其廣泛的應用場景，這要求人工智慧加速器必須根據終端應用的需求，針對延遲、能源效率及記憶體等不同特性進行針對性優化。舉例來說，自動導航系統要求運算響應延遲不得超過 20 微秒；而語音與視訊助理則必須在 10 微秒內辨識口語關鍵字，並在幾百毫秒內解讀手勢。
未來，旨在模擬人類思考過程的認知系統將更為嶄露頭角。相較於當今的神經網路，認知系統對於如何在不同的抽象層級上解讀數據，有著更深入的理解。
的優點AI 加速器
鑑於處理速度與可擴展性是人工智慧應用所面臨的兩大關鍵需求，人工智慧加速器在提供近乎即時的處理結果方面扮演著至關重要的角色，而這正是這些應用之所以具有價值的關鍵所在。讓我們更詳細地探討人工智慧加速器的主要優勢：
- 能源效率。AI 加速器的效率可比通用運算機器高出 100 至 1,000 倍。無論是應用於需要維持低溫的資料中心環境，還是電力預算有限的邊緣應用，AI 加速器在執行大量運算時，都無法承受過高的功耗或過多的熱量散發。
- 延遲與運算速度。憑藉其高速運算能力，AI 加速器能降低得出答案所需的延遲時間。這種低延遲特性在安全至關重要的應用中尤為重要，例如先進駕駛輔助系統（ADAS），因為在這些應用中，每一秒都至關重要。
- 可擴展性。編寫演算法來處理問題是一項挑戰。而將此演算法並行化至多個核心以獲得更強大的處理能力，則更具挑戰性。然而，在神經網路領域中，人工智慧加速器使得效能提升幅度幾乎能與所涉及的核心數量相等。
- 異質架構。此方法使特定系統能夠整合多顆專用處理器以執行特定任務，從而提供人工智慧應用所需的運算效能。此外，它還能利用不同裝置的特性進行運算，例如不同矽結構的磁性與電容特性、記憶體，甚至光。
AI 加速器 以及 新思科技
硬體設計已成為人工智慧時代推動創新的核心要素。與此同時，它也為開拓者帶來了一系列獨特的挑戰，無論是雲端還是邊緣領域，都在性能、功耗和面積方面不斷挑戰現有矽技術的極限。
資料中心的人工智慧設計具有以下特徵：規模龐大、具備多層次的物理層級結構、採用局部同步與全局異步的架構，以及極度分散的佈局。 邊緣 AI 設計必須處理數百種設計工況、極高的變異性、超低功耗要求，以及異質整合 （例如感測器）。
新思科技 提供業界最全面的人工智慧設計產品組合，從邊緣裝置的IP，到用於快速啟動複雜工作負載的Zebu® Server 4 模擬系統，乃至 Fusion Design Platform ，可為積體電路（IC）設計提供全流程、由人工智慧增強的結果品質（QoR）與結果產出時間（TTR）。
新思科技 已推出首款用於晶片設計的自主式人工智慧應用程式：DSO.ai™（設計空間最佳化 AI）。DSO.ai 能夠在晶片設計的龐大解空間中搜尋優化目標。透過大幅擴展設計工作流程中的選項探索範圍，並將影響較小的決策自動化，DSO.ai 能顯著加速專用人工智慧加速器的設計，使其更快推向市場。
新思科技.ai：由人工智慧驅動的電子設計自動化（EDA）
透過我們這套先進的 AI 驅動解決方案套件，優化矽片性能、加速晶片設計，並提升整個 EDA 流程的效率。
繼續閱讀
