推动边缘视觉计算, NPU IP is all you need?

从可视门铃到现代汽车，依赖摄像头的应用种类不断增加。对于许多这类系统而言，实时获得高分辨率图像正是保障系统有效运行的关键。毕竟，如果门铃无法清晰地识别偷走门口快递的小偷，或者汽车无法准确检测道路障碍物，它们的价值将大大降低。如今，深度学习模型已被越来越多的开发者用来增强这些产品所需的视觉处理能力。

视觉处理应用逐渐开始利用人工智能（AI）来提高图像质量或实现物体检测等高级AI功能。原本，计算机视觉应用仅依靠高级数字信号来处理操作（DSP），现如今已经开始将DSP和AI结合起来运用。目前，神经处理器IP解决方案也已问世，它具有超低功耗和超小尺寸，支持包括Transformer在内的最新AI神经网络，每秒可执行高达2万亿次运算（TOPS）。本文将进一步讨论新思科技具有1,024个MAC的ARC® NPX6-1K NPU处理器IP如何帮助开发者在芯片设计中引入更多的智能功能。

AI Transformer + 神经网络 = 令人惊叹的视觉处理

各类产品对人工智能的需求与日俱增，在计算成像领域尤为明显。智能手机已经普遍集成了摄像头，且能够提供高质量的图像，这也为将摄像头集成到从门铃到医疗设备等各种产品铺平了道路。计算成像有两个分支：

• 计算摄影，涉及使用数字计算来捕获和处理图像。
• 计算机视觉，涉及打造能像人类一样处理、分析和理解视觉数据的数字系统

事实证明，AI驱动的计算机视觉技术是实时提供准确、高分辨率图像的关键技术。过去，卷积神经网络（CNN）是计算机视觉应用领域的主流算法。神经网络一直普遍用于物体检测，如今在图像质量改进方面发挥着重要作用，接管多项曾经由数字信号处理器完成的任务。例如，神经网络可以嵌入关于什么是优质图像的知识，通过超分辨率网络将视频流分辨率提高4倍，并可用于减少噪点和提高弱光性能。AI驱动的计算机视觉技术还拥有包括模糊降低、高动态范围和宽动态范围等功能。

如今，最高精度的方案是Transformer。该AI模型最初用于自然语言处理，比如翻译和问答。Transformer基于自注意力机制，相比CNN，它更擅长学习复杂的模式，实现准确的物体检测，也能更好地理解情境。如果结合使用这两种深度学习模型，可以显著增强计算机视觉和图像处理精度。

将AI驱动的视觉处理集成到更广泛的应用中

全新ARC NPX6-1K NPU IP具有1,024个MAC，为开发者提供了一个很好的入口点，让开发者能够为功耗和面积受限的视觉处理设计添加最新神经网络（特别是Transformer）的支持。该IP还提供了另一个版本，即ARC NPX-1KFS NPU IP，其中提供了先进的硬件安全功能，有助于汽车设计更快通过ISO 26262认证。NPX6-1K和1KFS处理器能够与新思科技ARC VPX2 DSP处理器IP紧密集成，从而为DSP 和神经网络Transformer 提供市场上最节省面积和功耗的AI+DSP 解决方案。NPX6和VPX解决方案组合可以向上扩展，并且可以混合和匹配使用不同的配置，从而支持大型DSP+小型AI，或是大型AI+小型DSP等。

具有1,024个MAC的神经网络处理器支持多种用例。以下是其中一些示例：

• 在摄像头应用中，在图像信号处理器（ISP）之前处理原始数据，以实现更好的降噪，从而提高图像质量，而不是使用ISP处理原始数据，然后在后期处理过程中应用AI
• 通过运行神经网络算法，可以将显示的图像精度提高4倍，同时大幅降低功耗和面积
• 在视觉应用中直接处理来自图像传感器的流数据，从而大幅减少无DRAM架构的面积和功耗
• 使用成本较低的摄像头镜头，然后借助神经网络算法来提高图像质量，或在汽车应用中，提高诸如物体检测等功能的准确性
• 将AI集成到汽车雷达和激光雷达设计中，以支持物体检测和自动刹车等应用
• 为汽车环境中使用的虚拟机提供支持，帮助分隔安全关键型和非安全关键型任务，并简化认证要求

除上述用例外，还有许多其他使用场景，ARC NPX6-1K等处理器的出现开辟了将AI集成到众多新应用中的可能性。

屡获殊荣的可扩展NPU IP

随着新成员的加入，ARC NPX NPU IP系列现已从1K扩展到96K MAC，并能够在单个SoC上提供高达3,500 TOPS的性能。新思科技ARC MetaWare MX开发工具包提供一站式工具链，可加速IP的应用开发，并自动为算法分配MAC资源，以实现高效处理。今年早春的2023年边缘人工智能与视觉产品年度大奖中，此IP荣获由边缘人工智能与视觉联盟颁发的“最佳边缘人工智能处理器”奖项。