EDA工具
System
IP
SolvNetPlus
培训中心
定义
AI加速器是一种高性能并行计算设备，专为高效处理神经网络等AI工作负载而设计。
在软件设计领域，计算机科学家传统上专注于开发与特定问题相匹配的算法方法，并使用高级过程式语言将其实现。为了充分利用现有硬件，某些算法可以进行多线程化；然而，由于阿姆达尔定律的影响，大规模并行化难以实现。
AI加速器是如何工作的？
目前有两种截然不同的人工智能加速器应用场景：数据中心和边缘计算。
数据中心，尤其是超大规模数据中心，需要具备极强可扩展性的计算架构。针对这一领域，芯片行业正大举进军。例如，Cerebras 率先推出了专为深度学习系统设计的“晶圆级引擎”（WSE），这是迄今为止制造过的最大芯片。通过提供更强大的计算能力、更大的内存容量和更高的通信带宽，与传统架构相比，WSE 能够以显著更快的速度和更强的可扩展性支持人工智能研究。
边缘代表了这一光谱的另一端。在这里，能效比 至关重要，且资源有限，因为智能是分布在网络边缘，而非位于集中式 这样的集中位置。AI 加速器 IP 被集成到边缘 SoC 设备中，这些设备无论体积多么小，都能提供近乎即时的结果，以满足智能手机上运行的交互式程序或工业机器人等应用的需求。
Navigate AI 芯片开发
一份必备指南，助您克服人工智能芯片设计的复杂性，从设计到部署成功实现芯片量产。
硬件人工智能加速器的不同类型
虽然 WSE 是加速人工智能应用的一种方法，但对于不需要单片大型芯片的应用，还有多种其他类型的硬件人工智能加速器。例如：
- 图形处理单元（GPU）
- 大规模多核 标量 处理器
- 空间加速器，例如谷歌的张量处理单元（TPU）
这些都是独立的芯片，可以以数十到数百个为单位组合成更大的系统，从而实现对大型神经网络的处理。粗粒度可重构架构（CGRA）在该领域正迅速崛起，因为它既能在性能与能效之间提供理想的权衡，又能灵活地编程以支持不同的网络。
例如，以Megatron为例，这是全球最大的基于Transformer架构的自然语言处理神经网络模型之一（NLP ）。据NVIDIA介绍，该模型由NVIDIA应用深度学习 研究团队开发，是一个拥有83亿个参数的Transformer语言模型，支持8路模型并行和64路数据并行。 为了运行该模型（通常基于33亿词的数据集进行预训练），该公司开发了NVIDIA A100GPU ，其FP16计算性能高达312 teraFLOPs。谷歌的TPU是另一个例子；它可以通过集群配置组合使用，为神经网络模型的训练提供超过100 petaFLOPS的处理能力。
来源：OpenAI
不同的AI加速器架构可能存在不同的性能权衡，但它们都需要配套的软件栈来实现系统级性能；否则，硬件可能会被低效利用。为了促进TensorFlow™或PyTorch™等高级软件框架与不同AI加速器之间的互联，机器学习编译器应运而生，以实现互操作性。一个典型的例子是Facebook的Glowcompiler 。
如何衡量人工智能加速器的性能一直是一个备受争议的话题。若要对机器学习硬件、软件及服务的训练和推理性能进行独立评估，各团队可参考MLPerf——这是一个由来自产业界和学术界的工程师及研究人员组成的独立组织。
随着许多应用中的智能向边缘迁移，这使得人工智能加速器之间的差异化程度进一步加大。 边缘计算领域拥有极其丰富的应用场景，这要求人工智能加速器根据终端应用的需求，针对延迟、能效比 以及内存等不同特性进行专门优化。例如，自动导航对计算响应延迟的要求上限为20微秒，而语音和视频助手则必须在10微秒内识别出语音关键词，并在几百毫秒内识别出手势。
未来，旨在模拟人类思维过程的认知系统将日益凸显其重要性。与当今的神经网络相比，认知系统对如何在不同的抽象层面上解读数据有着更深刻的理解。
人工智能加速器的优势
鉴于处理速度和可扩展性是人工智能应用的两大关键需求，人工智能加速器在提供近乎即时的结果方面发挥着至关重要的作用，而正是这些结果赋予了这些应用其价值。让我们更详细地探讨一下人工智能加速器的主要优势：
- 能效比.人工智能加速器的效率可比通用计算机器高出100至1,000倍。无论是在需要保持低温的数据中心环境中，还是在功耗预算较低的边缘应用中，人工智能加速器在执行海量计算时，都不能消耗过多电力或产生过多热量。
- 延迟与计算速度。得益于其高速性能，AI加速器能够缩短得出答案所需的延迟时间。这种低延迟在安全关键型应用中尤为重要，例如高级驱动程序 辅助系统（ADAS ），在这些应用中，每一秒都至关重要。
- 可扩展性。编写算法来处理一个问题本身就颇具挑战性。而将该算法并行化，使其在多个核心上运行以获得更强的处理能力，则更具挑战性。然而，在神经网络领域，AI加速器使得性能速度的提升幅度几乎能够与所涉及的核心数量相当。
- 异构架构.这种方法使特定系统能够集成多个专用处理器来支持特定任务，从而提供人工智能应用所需的计算性能。它还可以利用不同的设备，例如不同硅结构的磁性和电容特性、存储器，甚至利用光来进行计算。
AI 加速器和 新思科技
硬件设计已成为人工智能时代创新的核心驱动力。与此同时，它也给开拓者们带来了一系列独特的挑战：无论是云端还是边缘计算领域，都在不断挑战现有半导体技术在性能、功耗和面积方面的极限。
数据中心人工智能设计具有规模庞大、多级物理层次结构、局部同步与全局异步 架构以及布局极度分散等特点。 边缘AI 设计方案需要应对数百种设计工况、极端多变性、超低功耗要求以及异构集成（例如传感器）。
新思科技 初启 提供业内最全面的人工智能设计产品组合，涵盖从边缘设备专用IP，到用于快速处理复杂工作负载的Zebu® Server 4硬件加速 系统，再到Fusion Design Platform（全流程），该平台通过人工智能增强了集成电路设计中的结果质量（QoR ）和结果交付时间（TTR）。
新思科技 推出了首款用于芯片设计的自主人工智能应用：DSO.ai™（设计空间优化人工智能）。DSO.ai 能够在芯片设计中极其庞大的解空间中搜索优化目标。通过在设计工作流中大规模扩展方案探索范围，并自动化处理影响较小的决策，DSO.ai 能够显著加速 专用人工智能加速器的设计，使其更快推向市场。
新思科技.ai：基于人工智能的电子设计自动化（EDA）
借助我们先进的 AI 驱动解决方案套件，优化硅性能、加快芯片设计并在整个 EDA 流程中提高效率。
继续阅读
