是什麼推動了Chiplets的需求?

是什麼推動了Chiplets的需求?

本文原文由Kenneth Larsen張貼

英文原文:What’s Driving the Demand for Chiplets?

疾如閃電的金融交易、自然語言處理、基因組定序…面對高負載運算工作,標準CPU已經無法滿足其需求。這些高效能運算(HPC)應用需要功能更強大、得以處理大量工作負載的處理器,且在無需消耗太多能量的前提下,同時解決複雜問題。

高效能與低功耗,面對這兩個看似矛盾的重大目標,晶片設計人員該怎麼辦呢?

工程技術的獨創與巧思,再再證明了它解決棘手問題的能力。由於生產大型系統單晶片(SoC)或採用更小的製程節點以實現功耗、效能和面積 (PPA)優勢的策略過於不切實際且成本過高,工程師們設計出了全新技術來推動半導體的創新。Chiplets便是一種提升效能的方式,可以同時滿足功耗與外形尺寸目標,特別適合不需要超大晶片體積的企業。本文將討論Chiplets如何提供全新等級的抽象層級(level of abstraction),以滿足超大規模資料中心與其 HPC 工作負載的需求。

來自超大規模資料中心的海量資料需求

HPC可以解決各種從科學與學術研究到商業創新領域中的複雜運算問題。從COVID-19到氣候變遷、金融風險分析和產品開發,世界上有許多重大且具有挑戰性的問題需要解決。HPC系統快速準確的資料處理能力,配合人工智慧(AI)和機器學習(ML)演算法,可以透過分析、建模和模擬,將海量資料轉化為可行的見解。MarketsandMarkets預估,HPC市場將從2020年的378億美元成長到2025年的494億美元。

最初的 HPC 應用-超級運算(supercomputing)-需要運用數千個CPU來解決複雜問題。傳統的資料中心也會以CPU,或是混合使用 CPU、GPU和專用ASIC作為其基礎。舉例而言,Google就擁有自己的張量處理單元(TPU, Tensor Processing Unit),一種用於神經網路機器學習、可透過雲端存取以加快AI速度的專用ASIC晶片。今天,我們可以觀察到超大規模資料中心日益普及,並快速且大規模地擴展,為HPC工作負載管理上千兆位元組 (甚至更多)的資料。而主流HPC應用中常用的晶片類型,已經無法滿足超大規模資料中心的PPA需求。

如Cerebras的 Wafer-Scale Engine (WSE) 極大型晶片,為超大規模資料中心提供了一種選擇。但從良率的角度來看,生產採用先進節點的大型單裸晶(monolithic die)成本高昂又具有挑戰性。這就是Chiplets吸引人的原因之一。事實上,超大規模資料中心正是驅動使用像Chiplets這類新架構以達到 PPA目標的需求。

預估HPC市場將從2020年的378億美元成長到2025年的494億美元

資料中心 SoC 的 PPA優化

Chiplets是一種小型裸晶,將其整合進單一封裝中,可以組成更大型的多晶粒設計(multi-die design)。透過將大型設計劃分為多個Chiplets,設計人員可獲得產品模組化和靈活性等優勢。個別的裸晶—即使是在不同製程節點上開發—也能組裝到單一封裝中,以滿足不同的市場領域或需求。與大型單裸晶相比,Chiplets也更容易製造並達到更高的良率。

至於Chiplets封裝,有多種技術可支援更高的電晶體密度,包括多晶片模組(MCM)、2.5D和3D技術。MCM是最早期的一種系統級封裝(SiP)技術,問世至今已數十年,其可在單一封裝中以打線封裝(wire bonding)方式連接至少兩個 IC。在2.5D設計中,GPU和高頻寬記憶體(HBM)並排組裝在單一封裝中的中介層(interposer)上。儘管邏輯晶片並未堆疊,在某些2.5D設計中,HBM仍是由3D堆疊記憶體組成,將3D概念帶入2.5D設計。而在3D封裝中,異質裸晶垂直堆疊並透過矽穿孔(TSV)相互連接,此架構讓極快速的記憶體存取頻寬得以實現。

HPC設計通常會使用各種封裝類型的Chiplets。MCM是小型、低功耗設計的理想選擇。2.5D設計適用於人工智慧(AI)工作負載,因為能緊密的連接HBM與GPU,且同時提供強大的運算能力和記憶體容量。3DIC具有垂直堆疊的CPU和快速的記憶體存取能力,對一般 HPC工作負載的理想之選。

根據國際能源署(IEA)報告指出,全球資料中心在2019年用電量為200 TWh,約佔1%的總電力需求。即使服務需求預估將會成長60%,只要硬體和資料中心基礎架構效率持續提高,此用電量在2022年以前都會幾乎持平。顯然,在晶片級功耗方面,任何幅度的降低都將大有助益,如果能擴展到多晶粒設計則更好。為此,HPC與資料中心應用接下來要開拓的領域,可能會是光學 IC。將光學IC整合到與矽晶相同的封裝中,可就降低功耗和提升頻寬層面帶來顯著優勢。雖然光學技術才剛開始被導入資料中心領域,以提供另一種擴大規模、降低功耗和維護成本的方法,但此技術在超級運算領域中已通過驗證,可以有效連接數百甚至上千個 CPU 節點。

調整 EDA 和 IP 以優化Chiplets設計

為確保Chiplets能實現所需要的PPA目標,勢必要審慎選擇開發使用的底層技術。舉例而言,支援高頻寬、低延遲、能源效率和無誤差效能的裸晶到裸晶(die-to-die) 介面對於快速、可靠的資料傳輸來說至關重要。同樣關鍵的還有設計與驗證流程,有助於提早發現問題、取得更高的結果品質(quality-of-result)並加速上市時程(time-to-market)。

新思科技憑藉領先業界的電子設計自動化(EDA)流程和IP解決方案,可以提供技術資源來加速Chiplets的開發,藉此滿足HPC嚴苛的PPA目標。舉例而言,AI 強化、雲端就緒(cloud-ready)的新思科技「融合設計平台」(Fusion Design Platform™)即具備大規模平行數位設計工具,以及合成(synthesis)、佈局繞線(place-and-route)和簽核(signoff)引擎的整合。針對2.5D和3D設計,裸晶對裸晶(die-to-die)連接 IP可提供卓越的功耗、延遲和裸晶邊緣效率。針對 3D 設計,建立於新思科技Fusion Design Platform基礎上的3DIC Compiler,是業界首款適用於先進多晶粒系統(multi-die system)設計與整合的統一平台。3DIC Compiler可用以建構多晶粒設計架構,並針對熱(thermal)、功耗(power)和時序(timing)等參數進行分析,而新思科技Fusion Compiler可提供 RTL-to-GDSII 流程來構建 CPU。我們的設計產品組合也包含用於RTL分析、標準簽核提取(golden signoff extraction)、靜態時序分析(static timing analysis)、模擬、測試,以及透過電腦輔助設計(technology computer-aided design, TCAD)對TSV進行前期分析等雲端就緒解決方案。在驗證面,雲端就緒的新思科技驗證連續平台(Verification Continuum®),可提供前期軟體上線(bring-up)、早期SoC錯誤偵測和更快速的系統驗證。

總結

大數據分析揭示了各種隱藏模式、相關性和見解,以幫助我們解決一些世界上最棘手的難題。傳統的運算架構已經不足以支援大量運算工作負載。然而,Chiplets為超大規模資料中心和其他HPC系統設計人員提供了另一種超越摩爾定律的方法來提升效能和功率,同時避免大型單裸晶的良率和成本問題。隨著HPC工作負載推動對Chiplets的需求,設計人員可以放心運用EDA和IP解決方案,幫助他們達成日益嚴苛的PPA目標和更快的上市時程(time-to-market)目標。