技术和工作负载如何驱动多晶粒系统

SoC性能持续升级，并且由于 Denard 缩放比例定律被认为即将结束（图 1），因此人们对多核设计在推动性能升级方面的重要性进行了大量讨论。

无论这种现象如何，为了满足性能需求，代工厂不断推动下一代工艺节点，使更高的频率和更高的逻辑密度能够包含更多的处理元件，所有这些都降低了功耗。 这种持续的创新如图 2 所示。

除了工艺节点创新之外，多核架构和处理器元件阵列还继续积极解决代际性能提升问题。然而，无论是多核创新还是工艺节点代际升级，都需要新的多晶粒系统架构。 内存墙显然是多晶粒系统的关键驱动因素之一（图 3）。 该图表显示，内存密度每 2 年翻一番，相应的工作负载则增加了 240 倍。有关详细信息，请参阅 Medium.com 上题为《AI 和内存墙》的博客文章。

AI 和安全工作负载的急剧增加推动了除频率增加之外的许多片上性能创新。 其中许多创新都集中在这些工作负载所需的处理器上。AI 算法推动了大规模乘积累加并行性的设计以及创造性的嵌套循环，从而可以减少周期并增加每个周期完成的工作。然而，这些工作负载还需要更大的内存密度来存储权重、系数和训练数据。 这推动了更大容量和更高带宽的片上和片外存储器。 对于片外存储器，业内已经迅速采用下一代 HBM、DDR 和 LPDDR。然而，正是片上存储器配置提供了供应商的差异化。 例如，对于 AI 加速器空间，每个供应商都在全局 SRAM 和缓存方面以更高的带宽集成更高的内存密度。 用于优化每个处理元件的内存配置的独特方法也是创新难题的关键部分。  

从 SoC 特定的性能提升中退后一步，一个关键的行业问题是这些 AI 系统在云中的功耗。 图 4 显示了 Google Data Center 的功耗。 显然，使用更高效的 CPU 构建 SoC 的设计活动至关重要，已有多家 SoC 初创公司公开提升 AI 处理器效率以解决此问题。 但整体系统性能还包括片外存储器，如占总功耗 18% 的 DRAM 功耗所示。 由于 pJ/bit 性能是其他技术所无法比拟的，因此针对低功耗的设计使 HBM 采用率得以提高。

我们探讨了采用 DDR/LPDDR 和 HBM 等片外存储器接口来提高内存带宽，但这些技术无法跟上在晶粒内集成 AI 工作负载处理器的能力。 片外存储器轨迹差距正在明显增大。Meta 在近年来的 OCP 峰会演讲中指出了这一趋势（图 5）。

多晶粒系统是业内最热门的话题之一。然而，与内存相关的技术挑战（满足当前的 AI 和安全工作负载）显然正在推动下一代 SoC 架构创新。 随着技术工艺节点的进步，这些架构需要更高的性能，每个处理元件需要更多的内存。 如果内存的扩展速度低于处理元件的扩展速度，但工作负载要求每个处理元素有更多的内存，则会引发技术颠覆。 一个明确的解决方案是多晶粒系统，利用更多具有更高带宽和更高密度的片上存储器。 这些存储器和 IO 创新将得到迅速采用，以满足未来工作负载的需求，并可能开启未来的行业颠覆机会。