224 Gbps SerDesのシームレスな相互接続性に向けて

大規模言語モデル（LLM）を中心としたAI/MLワークロードの爆発的な増大により、高性能コンピューティング（HPC）やAIデータセンター・アーキテクチャにパラダイム・シフトが起こっています。これまでの演算性能とインターコネクト・テクノロジでは、リアルタイムの大規模な推論と学習には対応しきれません。モデルのサイズとパラメータ数は4～6カ月ごとに倍増しており、インフラストラクチャには演算スループットの大幅な向上だけでなく、数千個のアクセラレータ間のデータ移動においてこれまで以上の広帯域幅と低レイテンシを実現できるインターコネクトが求められています。

本稿では、次世代SoCで1.6 Tbpsポート・レベルのシームレスな相互接続性を実現する上でのシステム・レベルの課題と解決策について、特に224G SerDesの役割、最新のインターコネクト・プロトコル、高密度・高速環境におけるシグナル/パワー・インテグリティの重要性などの技術面に焦点を当てながらご説明します。

ワークロードの要求

Llama 3のような最近のLLMは、事前学習に約700 TBのメモリーと16,000個のアクセラレータを必要とします。こうした要件は1つのGPUやアクセラレータで満たすことはできないため、数万個のデバイスを密結合したクラスタが必要です。しかしこれほどの規模になると、ネットワーク・ファブリックに極めて大きな負荷がかかるため、スケール・アップ（ラック内、低レイテンシ）とスケール・アウト（ラック間、広帯域幅）の両方のトポロジをサポートする必要があります。

プロトコルの進化

こうした要求に応えるべく、新しいプロトコルが登場しています。

• Ultra Ethernet Consortium（UEC）：スケール・アウトを目的とした規格で、最大100万ノードをベンダーに依存しない非常に広帯域幅で低レイテンシなリンクで接続します。
  
  
• Ultra Accelerator Link（UAL）：スケール・アップを目的とした規格で、最大1,024個のアクセラレータを高速かつ低レイテンシなリンクで接続し、メモリー共有とデバイス間（D2D）の直接通信をサポートします。

いずれのプロトコルも、新世代の物理層テクノロジである224G SerDesを基盤として使用します。

標準と仕様

業界全体で224G SerDesソリューションの相互接続性と信頼性を確保するため、IEEEやOIFなどの標準化団体は包括的な電気的仕様と長距離（LR）仕様を策定しており、これらは2025年内に承認される見込みです。また、Ultra Ethernet仕様バージョン1は最近リリースされ、UALink 200Gは今年はじめに発表されています。これらの規格は、異なるベンダのコンポーネントを組み合わせてシームレスな動作を可能にする共通のフレームワークとなるもので、最新のデータセンター・インフラストラクチャを迅速に展開/拡張していく上で非常に重要な役割を果たします。

チャネルとシグナル・インテグリティ

224Gでは、ナイキスト周波数が112Gの2倍に達し、チャネル損失とクロストークの影響が飛躍的に増大します。このような高周波領域では、信号経路のすべての要素（PCBトレース、コネクタ、パッケージ）が損失の要因となります。例えば32 AWGツイナックス・ケーブルの場合、56 GHzで約14 dB/mの挿入損失が発生し、一般的なシステムでは全体で40～50 dBものチャネル損失となります。減衰がこれほど大きいと、多くの高速リンクでは従来のPCBベースの配線では不十分なため、シグナル・インテグリティを維持するために先進の材料や改良されたコネクタ・デザイン、さらにはフライオーバー・ケーブルの導入も進んでいます。

SerDesレシーバ側での等化とDSPの必要性

224Gで安定したデータ転送を実現するには、高度なデジタル信号処理（DSP）と等化手法を使用して、大幅なチャネル劣化を補償する必要があります。最新のSerDesアーキテクチャには、以下の機能が採用されています。

• 広帯域幅のアナログ・フロントエンド（AFE）
• 低ノイズのA/Dコンバータ（ADC）
• 強力なフィードフォワード/デシジョン・フィードバック等化（FFE/DFE）
• 最尤系列検出 （MLSD）

これらのレシーバ・ブロックが連携することにより、過酷環境でも広いアイ開口と低ビット誤り率（BER）を確保でき、FEC適用前のBERを1E-4よりも数桁改善できます。DSPには、短距離（チップ–モジュール間）と長距離（バックプレーン、フライオーバ、光）のいずれのチャネルもサポートできる高い適応性が求められます。

224 Gbpsにおけるアーキテクチャ面での要求とDSPの改良

224 Gbpsのスピードに対応するには、SerDesアーキテクチャを構成するすべてのブロックを強化する必要があります。アナログ・フロントエンド（AFE）は帯域幅を拡大する必要があり、A/Dコンバータ（ADC）はより低ノイズでの動作が求められます。ユニット・インターバル（UI）が短くなるため、位相同期回路（PLL）のジッタ許容量が小さくなり、DSPは45 dBのチャネル損失を補償するために、多くの場合最尤系列検出（MLSD）などの高度な手法を利用して堅牢な等化を実行する必要があります。そして重要なのは、スイッチやアクセラレータには200レーン以上のSerDesが統合されているため、性能が向上してもそれに比例して消費電力が増えてしまっては意味がないという点です。

実チップが完成する前のシステム実装では、包括的なシミュレーション環境を使用して性能を予測および最適化します。これらのシミュレーションでは、以下を含む信号経路全体をモデル化します。

• トランスミッタのIBIS-AMIモデル
• 数百レーンの近端および遠端クロストークを考慮した完全なパッケージ寄生抽出モデル
• PCBトレース、コネクタ、フライオーバー・ケーブル、さらには光リンクを網羅したインターコネクト・モデル
• レシーバのIBIS-AMIモデル

設計者は、これらのシミュレーション環境を使用して多レーンでのシグナル・インテグリティ、クロストーク、および同時スイッチングの影響を評価できます。トランスミッタからレシーバまで、すべての中間インターコネクトも含む仮想システムを構築することで、エンジニアはレシーバ側で広いアイ開口と許容可能なBERを達成できるかどうかを予測できます。

シミュレーションから実チップの相互接続性までの主要な評価指標とマージン解析

主な評価指標の1つに、前方誤り訂正（FEC）適用前のBERがあります。一般的な仕様では1E-4が基準値とされていますが、堅牢なシステム設計とするには、プロセス/電圧/温度（PVT）ばらつきを考慮したマージンが必要です。また、シミュレーションではすべてのPVTコーナーにおいてFEC適用前後のBERを比較してFECの効果を評価し、ワーストケースにおいても安定動作を確保する必要があります。

ハードウェア・バリデーションとチャネル特性評価

実チップが完成したら、これらのモデルを実際のハードウェアでバリデーションします。例えば224G SerDesの場合、損失40～45 dBのシステム・チャネルを実チップとインターコネクト、ケーブルを使用して特性評価します。近端クロストークと遠端クロストークの両方を測定し、その結果をシミュレーションの予測値と比較してフィードバック・ループを形成することで、モデル精度を高めていきます。

SerDesの性能は、単体では評価できません。インターコネクト、ケーブル、コネクタ、パッケージ、PCBを含むシステム全体を考慮する必要があります。

HPC環境で使用するSerDesの場合、単にIEEEやOIFの仕様に準拠して設計し、TXコンプライアンスやRX JTOLの電気的仕様への適合テストを実施するだけでは不十分です。SerDesベンダはエコシステム・ベンダと協力して、テスト/検証済みのソリューションをシステム・インテグレーターに提供し、これらのソリューションをラック内接続に使用した場合にシームレスな統合をサポートできるようにする必要があります。例えば、SerDesと各社の高密度ケーブル・アセンブリ、OSFP（Octal Small Form-factor Pluggable）、DAC（Direct Attach Copper）ケーブル（1～2m）、NPC（Near-Packaged Copper）/CPC（Co-Packaged Copper）アセンブリとの間で損失を45～50 dB以内に抑えた相互接続性を確保することで、実際のラック内およびラック間接続を想定したシステム・バリデーションの基盤が形成されます。これらの相互接続テストにより、SerDesからインターコネクト、パッケージ、PCBまでエンドtoエンドのチャネルが連携してHPCシステムで要求される性能を発揮できることを確認します。

業界は224Gの次を見据え、既に448G SerDesへの移行を開始しています。これは大きな飛躍となるもので、単にデータ・レートを2倍にするだけでなく、変調方式やチャネル定義を見直すことにより、この新しい周波数特有の課題に対処する必要があります。

変調方式とチャネルの進化

• 銅線インターコネクト：銅線で448Gを伝送する変調方式として、約86.7 GHzのナイキスト周波数で動作するPAM-6を使用することで業界はまとまりつつあります。OIFやIEEEなどの業界団体は、さまざまな運用環境で安定した性能が得られるように短距離、中距離、長距離アプリケーション用の新しいチャネル仕様の定義を進めています。
  
  
• 光リンク：光チャネルに関しては、今後もPAM-4が標準の変調方式として使われる見込みです。PAM-4は約112 GHzのナイキスト周波数での高周波性能とシグナル・インテグリティが実証済みのためです。このアプローチは、より高いデータ・レートに対する要求と、光コンポーネントの設計および運用の現実性をバランスよく満たしています。

これらのチャネル挙動によってPHYの変調方式と複雑さが決まり、逆に、PHYの変調方式と複雑さによってもチャネル挙動が決まります。

448Gへの移行では、先進材料からコネクタ技術、さらにはより高度なDSPおよび等化手法に至るまで、システムのあらゆる要素に対して一段と厳しい要求が課せられます。この前例のない動作速度でシグナル・インテグリティと電力効率を維持するには、電力供給、熱管理、システム統合のあらゆる面でさらなる技術革新が求められます。

次世代HPCおよびAI/ML SoCで1.6 Tbpsのシームレスな相互接続性を実現するには、単にSerDes設計だけでなく、複雑で分野横断的な課題を解決する必要があります。この取り組みを成功させるには、以下の点を考慮することが重要です。

• 革新的なSerDesアーキテクチャ：先進の等化技術、適応型DSP、そして電力効率に優れたデザインを取り入れることにより、深刻なチャネル劣化を克服すること。
  
  
• 高性能インターコネクト：システム全体でシグナル・インテグリティとパワー・インテグリティに十分な注意を払いながら、銅線と光の両方の技術を活用すること。
  
  
• 包括的なシステム監視とバリデーション：あらゆる条件下で安定した動作を実現できるように、徹底的なシミュレーションとハードウェア・バリデーションを実施すること。
  
  
• エコシステムとの協業：技術革新と市場投入を加速するため、シリコン、パッケージ、インターコネクト、システム統合の各領域のパートナーと緊密に連携すること。

224G SerDesソリューションが量産段階に入り、448G技術も視野に入ってきた今、業界はAIおよびHPCの次なる進歩に必要な帯域幅、スケーラビリティ、および信頼性を提供できる体制を整えています。今後も進歩を継続するには、全体的な視野に立ったシステム・エンジニアリング、堅牢な標準の策定、そして相互接続性への継続的な注力が必要です。こうすることで、拡大を続けるAIおよびHPCの要求に応えられる次世代データセンターが実現します。

シノプシスの224G PHY IPは、高性能データセンター・アプリケーションで高まり続ける広帯域幅と低レイテンシの要求を満たします。最先端の設計、解析、シミュレーション、および計測手法を使用することで、シノプシスの224G PHY IPはIEEE 802.3およびOIF規格の電気的仕様を上回る抜群のシグナル・インテグリティとジッタ性能により、UALink 200Gをサポートします。