重點摘要
現代資料中心已不再僅僅是一座用來容納伺服器的建築物。它是一個由運算、儲存、網路、電力分配及熱管理基礎設施所組成的高度複雜且相互依存的系統。作為數位經濟的實體基礎,資料中心負責處理、儲存及分發數據,這些數據驅動著從企業應用程式到全球雲端服務,乃至先進人工智慧(AI)工作負載等各類應用。
這類基礎設施的規模正迅速擴大。根據麥肯錫的預測,全球資料中心的需求預計將在 2030 年達到 220 吉瓦(GW),預計需投入 6.7 兆美元的全球投資。這種成長正改變著這些設施的設計、建造與營運方式。
對於工程團隊、架構師和 IT 領導者而言,要理解資料中心架構,必須跳脫 IT 設備的框架來思考。現代資料中心的挑戰屬於「多物理場 」問題:必須在極高的功率密度與熱限制之間取得平衡,確保具備容錯能力的冗餘機制,並從電晶體層級到設施層級全面優化能源效率。
本指南針對現代資料中心架構、核心基礎設施元件、設施類型,以及人工智慧的需求如何重新定義資料中心設計,提供工程層面的概覽。
從本質上來說,資料中心是一種專用的實體設施,或是建築物內的專用空間,旨在容納關鍵的電腦系統及其相關組件。其主要功能是為資訊科技運作提供一個安全、可靠且高度受控的環境。
從工程學的角度來看,資料中心最好被理解為一個持續運作的處理引擎。它吸收電力與原始資料,透過高密度矽晶片陣列處理這些資料,並輸出經處理的資訊與熱能。
工程定義: 資料中心是一種 具備容錯能力的設施,其設計旨在透過冗餘供電系統、精密的熱管理以及安全的網路連線,在嚴格的環境參數範圍內,確保高密度 IT 設備能夠持續運作。
資料中心的複雜性在於其各系統之間的相互依存關係。某個領域的故障或效率低下,會連鎖影響其他領域。舉例來說,運算密度的提升需要相應增加供電量,這會產生更多熱量,進而需要更強力的冷卻措施,而這又會消耗更多電力。要打破這個循環,必須在整個設施生命週期中進行先進的模擬與優化。
在運算能力持續微型化以及數據呈指數級增長的推動下,資料中心架構歷經了幾個截然不同的發展階段。當前的時代——常被稱為「AI 工廠」——指的是專為 GPU 為中心的工作負載而建的設施,其密度與規模是早期設施設計所無法支援的。本文中使用此術語時,係基於其描述性意涵,作為業界的簡稱。
時代 | 建築 | 特徵定義 | 功率密度 |
1940年代至1970年代 | 大型主機時代 | 龐大且僅具單一用途的電腦(例如 ENIAC),需要專用的機房、客製化的電源供應,以及基礎的空調系統。 | < 1 kW per rack equivalent |
1980年代至1990年代 | 客戶端/伺服器時代 | 微型電腦與分散式網路的興起。伺服器機房在企業辦公大樓中變得司空見慣。 | 每機架 1–3 千瓦 |
2000s | 網際網路與虛擬化 | 網路泡沫的興起推動了專用機房設施的興建。虛擬化技術使得單一實體伺服器上能同時運行多個作業系統,從而提高了利用率。 | 每機架 3–5 千瓦 |
2010s | 雲端與Hyperscale | 從企業自建設施轉向大型集中式雲端服務供應商(AWS、Google、Azure)。Google 於 2006 年在俄勒岡州達爾斯市(The Dalles)建成的設施(130 萬平方英尺)為「hyperscale 」架構奠定了範本。 | 每機架 5–10 千瓦 |
2020年代至今 | AI Factory | 工作負載從以 CPU 為中心轉向以 GPU/NPU 為中心。相關設施專為平行處理而設計,需要液冷系統及龐大的電力基礎設施。 | 每機架 40–100+ 千瓦 |
圖 1. 資料中心架構的演進。 資料中心架構歷經五個截然不同的演進階段,每個階段皆由運算技術的進步與需求變化所驅動。機架功率密度已提升約 100 倍——從大型主機時代的不到 1 kW,到當今人工智慧工廠的 40–100+ kW。人工智慧時代是首個需要在同一個設計週期內,對供電、散熱及結構設計進行協調性重新思考的時代。
訓練大型語言模型(LLMs)及執行複雜模擬所帶來的需求,已將傳統風冷式資料中心的設計推至其物理極限,尤其在處理最高密度的工作負載時,這迫使業界必須重新構思這些設施的供電與散熱基礎設施。
現代資料中心建立在五大基礎支柱之上。雖然 IT 設備(運算、儲存、網路)負責實際的資料處理,但設施基礎架構(供電、冷卻)則確保處理作業能夠持續且安全地進行。
1. 運算基礎架構
運算層是資料中心的「大腦」,由執行應用程式並處理資料的實體伺服器所組成。這些伺服器的架構決定了整個設施的實體佈局。
2. 儲存基礎架構
資料中心需要龐大、高可用性且具彈性的儲存系統,以容納正在處理的艾字節級資料。儲存架構取決於資料的存取方式及其檢索速度。
3. 網路基礎架構
網路是該設施的中樞神經系統。它負責將伺服器相互連接(東西向流量),並將資料中心與外部世界連接(南北向流量)。隨著分散式運算和微服務架構成為標準,東西向流量的規模已呈爆炸性增長,迫使網路拓撲必須重新設計。
圖 2. 資料中心網路拓撲。 傳統的三層網路(核心 → 匯聚 → 存取)會產生不穩定的跳數,並在匯聚層形成瓶頸,進而限制東西向流量。葉脊架構同時解決了這兩項問題:每台葉交換器皆與每台脊交換器相連,使任何伺服器到其他任何伺服器的路徑僅需精確的兩跳——這正是 GPU 對 GPU 人工智慧訓練流量所需要的可預測且均勻的延遲。
4. 電力基礎設施
電力分配是現代資料中心中最關鍵且最複雜的工程挑戰之一。電力基礎設施必須具備高度可靠性、經過適當處理,並完全冗餘,以防止系統停機。此外,該基礎設施還必須具備擴展性,以滿足hyperscale 設施的需求。
5. 散熱與熱管理
散熱基礎設施負責帶走運算系統與供電系統所產生的熱量。隨著機架密度不斷提高,散熱基礎設施已成為資料中心處理高密度工作負載時的主要瓶頸。
資料中心並非「單晶片 」;它們是根據所有權、規模及主要應用情境來分類的。理解這些區別對於架構規劃至關重要。
資料中心類型 | 所有權與營運 | 規模與佔地面積 | 主要使用情境 |
企業 | 由單一組織擁有並營運。 | 中小型(1–10 兆瓦) | 用於託管專屬企業應用程式、敏感資料及內部 IT 基礎架構。 |
機房託管(Colo) | 由第三方供應商擁有;空間、電力及冷卻設施均租賃予多名租戶。 | 中至大型(10–50+ 百萬瓦) | 希望擁有自己的 IT 硬體,但又想避免因建置和維護設施基礎架構所產生的資本支出之組織。 |
託管服務 | 由第三方擁有;該服務供應商同時負責管理該設施及資訊科技設備。 | 中型(5–20 百萬瓦) | 希望將 IT 營運完全外包,但又不希望轉向公有雲模式的組織。 |
雲端 /Hyperscale | 由主要雲端服務供應商(AWS、Google、Microsoft、Meta)擁有並營運。 | 大型(50–200+ 百萬瓦) | 為全球數百萬客戶提供可擴展、隨需應變的基礎架構即服務(IaaS)與平台即服務(PaaS)。 |
混合雲 | 一種整合式架構:企業為敏感或穩態工作負載所建置的自有設施,輔以hyperscale 公有雲資源,以因應彈性、突發性或全新工作負載。工作負載的配置由政策驅動,並透過軟體定義實現。 | 小至大(可變——取決於本地部署的佔用空間以及已簽約的雲端容量) | 需遵守資料駐留或監管要求的組織(例如金融服務、醫療保健、政府機構),同時仍需為突發性工作負載或全新的人工智慧專案備有彈性運算能力。 |
Edge | 由各類實體(電信業者、雲端服務供應商、企業)所擁有。 | Micro to Small (< 1 MW) | 位於接近終端使用者或資料來源的位置,以將即時應用(物聯網、自動駕駛車輛、5G)的延遲降至最低。 |
人工智慧/高效能運算 | 由超大規模雲端服務商、專業人工智慧雲端服務供應商或研究機構所擁有。 | 大型至超大型(50–500+ 百萬瓦) | 專為訓練大型語言模型及執行複雜模擬而設計。其特點在於極高的功率密度與液冷技術。 |
人工智慧資料中心的崛起
雖然企業級與機房託管設施仍是傳統 IT 的骨幹,但最重大的架構變革正發生於人工智慧(AI)與高效能運算(HPC)領域。這些設施的設計以 GPU 叢集的特定需求為核心,其中網路架構(例如 InfiniBand)與熱管理系統,決定了建築物的實體佈局。
若要更深入了解這些高密度設施的具體架構需求,請參閱《AI 與 HPC 資料中心》概述。
人工智慧與企業工作流程的整合,是過去十年間推動資料中心架構變革的最大單一驅動力。根據麥肯錫的預測,到 2030 年,人工智慧工作負載預計將佔資料中心總需求的 70%。
這項轉變不僅僅是增加更多伺服器這麼簡單;它更改變了資料中心的運作本質。
功率密度挑戰
人工智慧對資料中心架構最直接且顯著的影響,在於功率密度的指數級增長。傳統企業資料中心建於虛擬化及雲端早期階段,其設計旨在支援每機架 5 至 10 千瓦(kW)的功率密度。在此密度下,標準的架高地板空氣冷卻系統及傳統的配電單元已足以應付需求。
如今,單一機架用於訓練大型語言模型(LLMs)的高效能 GPU,耗電量可達 40 至 100+ 千瓦,而新一代晶片更將使這些數字進一步攀升。這意味著在相同的物理佔地面積內,功率密度增加了 10 倍。 十年前設計的設施無法單純透過加裝現代 AI 硬體來進行改造;電力分配系統會導致斷路器跳閘,而冷卻基礎設施則無法有效散熱,進而引發熱限速(透過降低時脈速度來減少熱量輸出)或造成硬體損壞。
這種密度所帶動的宏觀層級能源需求相當龐大。根據勞倫斯伯克利國家實驗室的數據,2018 年美國資料中心的用電量達 76 太瓦時(TWh),佔美國總能源消耗量的 1.9%。 預計到 2028 年,主要受人工智慧熱潮驅動,該數字將達到 325 至 580 TWh 之間——佔美國總能源消耗的比例最高可達 12%。
圖 3. 美國資料中心用電量增長趨勢。 美國資料中心的用電量已從 2018 年的 76 TWh(佔全國能源消耗的 1.9%)飆升至 2023 年的預估 176 TWh,並預計將於 2028 年達到 325–580 TWh — 約佔美國總能源消耗的 12%。此增長加速主要受人工智慧工作負載增長所驅動。 資料來源:勞倫斯伯克利國家實驗室(LBNL),《2024 年美國資料中心能源使用報告》。
邁向平行處理與高速互連架構
人工智慧的訓練與推論需要龐大的平行處理能力,而傳統 CPU 無法有效提供這種能力。這促使 GPU 和專用的神經網路處理單元(NPU)迅速普及。這些晶片體積龐大,往往已逼近半導體製造中光罩尺寸的極限,且相較於傳統 CPU,其耗電量更高、運作溫度也更高。
AI 工作負載具有高度分散的特性。訓練單一基礎模型需要數千顆 GPU 協同運作,並以極高的速度和超低的延遲進行通訊,以避免運算引擎因等待資料而閒置。這需要專用的高頻寬網路架構(例如 InfiniBand 或進階乙太網路配置),並部署共同封裝光學 。這些高速互連技術進一步增加了機架的功耗與熱負載,使密度挑戰更加嚴峻。
人工智慧資料中心所消耗的電力中,多達 40% 並非由運算硬體消耗,而是由用於為這些晶片散熱的系統所消耗。管理這項熱負載,是當代高密度資料中心容量所面臨的主要工程限制。
在人工智慧密度下的空氣冷卻極限
數十年來,氣冷式一直是熱管理領域的業界標準。資料中心仰賴電腦機房空調(CRAC)或電腦機房空氣處理機(CRAH)來冷卻空氣,隨後將冷空氣強制導入架高地板下方,並透過穿孔地板磚向上推送至伺服器機架之間的冷通道中。 伺服器吸入這股冷空氣,使其流經內部散熱片,並將熱空氣排出至熱通道,熱空氣隨後返回 CRAC 裝置再次冷卻。對於傳統企業級密度,以及像風冷式 新思科技 ZeBu 模擬伺服器等專用驗證平台,在這些情況下,風冷式部署本身即為面向客戶的優勢,此方法仍極為有效。
然而,當功率超過 AI 工作負載典型的每機架 20–30 kW 閾值時,空氣的導熱性能相對較差,而散熱所需的氣流體積與流速在物理上已難以實現。 為了驅動如此大量的氣流(無論是在伺服器內部還是 CRAC 機組內),所需的風扇將開始消耗設施總電力預算中相當大的一部分,從而削弱能源效率。此外,將高速氣流強行通過密集的伺服器機箱,也會產生對操作人員有害的噪音水平。
人工智慧高密度設施向液冷技術的轉型
為了支援 40–100+ kW 密度的人工智慧工作負載,業界正迅速採用液冷技術。液體(例如經處理的水或專門設計的介電液體)的熱容比空氣高出數千倍,因此能比風扇更有效率地吸收並散熱,且所需的泵送能耗更低。
圖 4. 資料中心冷卻架構比較。 涵蓋各種密度範圍的三種冷卻架構。空氣冷卻(每機架最高約 20 kW,PUE 1.3–1.6)採用熱/冷通道封閉系統與 CRAC 冷卻機組,對於傳統企業級及專用驗證級密度而言,仍具有極高效率。 直接晶片液冷(每機架 40–100+ kW,PUE 1.1–1.25)透過冷板捕獲 70–80% 的熱量,其餘部分則由空氣處理;浸沒式冷卻(每機架 100+ kW,PUE 低於 1.1)將伺服器浸沒於介電液體中以實現近乎完全的熱量捕獲,從而解決最高密度環境下的熱量上限問題。
現代資料中心的龐大能源消耗,使得永續發展成為工程領域的一項關鍵優先事項,這既源於經濟上的必要性,也受到法規壓力的驅動。
關鍵效率指標
該產業主要依據兩項主要指標來評估設施的效率:
再生能源並網
為了減輕碳足跡,主要資料中心營運商已成為企業界購買再生能源(風能、太陽能、地熱能)的最大客戶之一。然而,再生能源的間歇性特性,與資料中心全天候不間斷的供電需求存在衝突。這需要先進的儲能解決方案(例如大型鋰離子電池組)以及智慧型電網互動式不間斷電源(UPS)系統,這些系統不僅能平衡負載,甚至能在用電高峰期間將電力回輸至電網。
本指南中所指的「晶片到廠房(Chip-to-facility)」,是指將矽片層級模擬與廠房層級的多物理場 模擬相連結的整合式工程分析架構: 新思科技 位於晶片與封裝層級的矽級工具,以及 Ansys 多物理場 機架、機房及設施層級的求解器。這並非一個獨立的產業術語;而是本文用以描述如何將 新思科技 + Ansys 解決方案如何應對現代資料中心設計所涉及的四大工程尺度。
設計一座現代化、高密度資料中心,其複雜度與成本之高,已不適合採用試錯式的工程方法。電源、散熱與結構系統之間的相互依存關係,需要一種整體性的模擬方法,範圍涵蓋從電晶體的奈米級、伺服器封裝的公分級,直至設施本身的宏觀級。
1. 晶片級功耗與熱分析
資料中心的熱分布始於矽晶片內部。隨著晶片在複雜的 3DIC 封裝中整合專用處理元件(例如 NPU),其功耗會出現大幅波動。該 新思科技 這套設計與簽核解決方案組合,能從端到端全面解決此層級的挑戰:
2. 機架級與電路板級電子元件散熱
一旦掌握了晶片的熱分布特性,工程師就必須設計印製電路板(PCB)和伺服器機箱,以散去這些熱量。Ansys 的 Icepak電子設備散熱模擬軟體提供電子設備散熱模擬功能,讓設計人員能夠在電路板和機架層級建模熱傳導過程。這能確保散熱片、冷板和內部風扇都能針對特定晶片的熱輸出進行最佳化。
3. 房間層級氣流與計算流體動力學(CFD)
在機房層級,數百個機架之間的相互作用會產生複雜的熱行為。Ansys 的 Fluent流體模擬軟體提供計算流體動力學(CFD)模擬功能,用以建模整個伺服器機房內的氣流。工程師可藉此優化 CRAC 單元的配置、冷熱通道封閉系統的設計,以及液冷集管的路徑規劃,藉此消除熱點並將冷卻基礎設施的能耗降至最低。
4. 設施層級的結構與數位孿生
最後,必須對整個設施進行建模。 Ansys 機械結構有限元素分析軟體可提供結構模擬,以確保建築物能支撐高密度機架及液冷基礎設施的重量。隨後可將這些模擬模型整合,透過Ansys 的Twin Builder模擬式數位孿生 平台,建立設施的數位孿生 ,讓營運人員能夠即時監控並優化效能。
圖 5. 從晶片到設施的模擬堆疊。 「晶片到設施」模擬堆疊串聯了四個工程層級:晶片層級的功耗與時序驗收;機架與電路板電子設備散熱;機房層級的計算流體動力學(CFD)與散熱;以及設施層級的結構分析與營運數位孿生。熱與功耗的邊界條件從晶片層級向下流向設施層級,各層的輸出結果將作為下一層的輸入。
模擬技術的理論優勢,已由那些正在建構人工智慧革命實體基礎設施的企業在實務中證實。作為全球關鍵數位基礎設施供應商,Vertiv 正與 Ansys(隸屬於 新思科技,共同推動其資料中心冷卻系統設計的數位轉型。
熱交換器(HX)盤管是將熱量從硬體中帶走的關鍵組件。其設計是一項複雜的多物理場 挑戰,傳統上需要耗費大量時間進行實體原型製作。
透過導入Ansys 的 optiSLang製程整合與設計優化軟體,Vertiv 的工程團隊能夠快速模擬理想的設計配置,無需反覆製作實體原型,即可減少材料用量並降低成本。Ansys 的 Minerva模擬製程與資料管理網頁應用程式,讓企業內外的專家與非專家皆能存取自動化模擬功能,從而解決因設計者與工程師之間交接延誤所導致的時間延遲問題。
"Ansys「業界領先的模擬解決方案將有助於推動 Vertiv 的商業模式,同時我們也致力於為未來設計解決方案。我們的使命是徹底改變世界對資料中心的構思與開發方式——從冷卻與供電技術,到將人工智慧應用於資料中心本身的設計。」
—史蒂夫·布萊克威爾(Steve Blackwell),Vertiv 工程副總裁。來源: Ansys 新聞稿,2024年11月14日。
在設計階段建立的模擬模型,在設施建成後仍不失其價值。透過將這些高保真 3D 模型轉換為降階模型(ROMs),工程師便能建立資料中心的即時運作數位孿生 。
操作人員可透過Ansys Twin Builder軟體,將數位孿生 與實體設施的即時感測器資料進行串接。他們不僅能監控熱效能、在設備故障發生前預先預測,還能模擬營運變更所帶來的影響(例如:「若將第 4 走道的機架密度提高 20%,PUE 會產生什麼變化?」),且無需冒著影響實際運作環境的風險。
資料中心數位孿生 是更廣泛的數位孿生 類別中的一項應用,該類別涵蓋電子技術的深度(新思科技 針對晶片、系統單晶片(SoC)、電子控制單元(ECU)及完整電子架構的 eDT 技術)與系統及物理層面的廣度(Ansys 數位孿生 適用於機械、熱力、流體、電磁及多物理場 系統的技術)。關於此類別層級的背景資訊,請參閱《何謂電子數位孿生 ?》。
由於資料中心是數位經濟的基石,因此絕不容許發生停機情況。這些設施在設計時會採用不同程度的冗餘機制,以確保即使在硬體故障或公用設施中斷的情況下,仍能持續運作。
評估此可靠性的業界標準,是 Uptime Institute 的層級分類系統。
等級 | 冗餘架構 | 預期正常運作時間 | 典型應用案例 |
第一級 | 基本容量:電源與散熱均採用單一路徑;無冗餘元件 (N)。 | 99.671%(每年停機時間 28.8 小時) | 小型企業;非關鍵工作負載。 |
第二級 | 冗餘容量元件:電源與散熱採用單一路徑,但關鍵元件具冗餘設計(N+1)。 | 99.741%(每年停機時間 22 小時) | 中型企業;標準的 IT 營運。 |
第三級 | 可並行維護:具備多條供電與散熱路徑,但僅有一條處於活躍狀態。採用冗餘元件配置(N+1)。任何元件均可移除,且不會影響運作。 | 99.982%(每年停機時間 1.6 小時) | 大型企業;關鍵業務應用程式。 |
第四級 | 容錯設計:具備多條主動式供電與散熱路徑。組件完全冗餘(2N 或 2N+1)。系統中任何位置發生單一故障,均不會影響運作。 | 99.995%(每年停機時間 26.3 分鐘) | 超大規模雲端服務供應商;金融機構;關鍵任務型 AI 工作負載。 |
資料中心是一種經過高度工程設計、具備容錯能力的設施,旨在容納關鍵的 IT 基礎設施(運算、儲存、網路),以及確保該設備能持續運作所需的冗餘供電與冷卻系統。
雲端是一種服務模式(透過網際網路提供的軟體、平台或基礎架構),而資料中心則是該雲端基礎架構所駐留的實體設施。當您使用 AWS 或 Azure 等雲端服務時,您的資料會在其位於hyperscale 的其中一座資料中心內進行處理。
傳統企業資料中心的每機架功耗約為 5 至 10 千瓦 (kW),而專為 GPU 叢集設計的現代 AI 資料中心,每機架功耗則達 40 至 100+ 千瓦。單一座hyperscale AI 園區的耗電量可達數百百萬瓦 (MW),相當於一座小城市的用電量。
電源使用效率(PUE)是衡量資料中心能源效率的標準指標。其計算方式為:將進入設施的總電力除以純粹由 IT 設備消耗的電力。PUE 值為 1.0 代表效率完美;現代的hyperscale 設施通常能達到 1.1 至 1.2 之間的 PUE 值。
隨著機架功率密度超過 30 kW(主要受人工智慧與高效能運算工作負載驅動),傳統的風冷技術在物理上已無法以足夠快的速度散熱。液冷技術(直接接觸晶片或浸沒式)採用比空氣具有更高比熱容的流體,以有效管理這些極端的熱負載。在低於此功率密度的情況下——包括傳統的企業級運算及風冷驗證平台——風冷技術仍能穩健地運作於其能力範圍內。
資料中心數位孿生 是實體設施的虛擬複本,透過先進的模擬模型(例如 Ansys Twin Builder 軟體)建立,並與即時感測器資料相連。它讓操作人員能在零風險的虛擬環境中監控效能、預測故障,並模擬營運變更。
設計與營運新一代人工智慧資料中心,需要從電晶體到設施層級皆具備工程精準度。 新思科技, Inc.(納斯達克代碼:SNPS)與 Ansys(隸屬於 新思科技,共同開發了上述從晶片到設施的工具套件。
新思科技 提供來自從晶片到系統 的工程解決方案。