新思科技与ARM推出针对4K智能手机和AR/VR设备的Display IP解决方案

作者:新思科技技术营销经理Licinio Sousa和Arm高级产品经理Vassilis Androutsopoulos

随着市场对高清内容和可视质量的需求日益提高,高端智能手机和增强现实 (AR)/虚拟现实 (VR) 设备的 显 示屏变得日益复杂。为了满足这些需求,高端智能手机正从Wide Quad HD (WQHD) 显示屏向超高清4K显 示 屏演变。随着显示屏的质量接近人眼,并且必须保证可视质量,AR/VR应用需要更多像素 和更高刷 新率。 高刷新率(例如每秒90、120帧或更高)可以最大限度减少了晕动病,并且通过减少 人眼看到的内 容与大 脑期望看到的内容之间的差异,提供了真实 的沉浸式视觉体验。 这些特性以及相关的带 宽要求对设计人 员 提出了系统级挑战。本文介绍不同的显示子系统架构,并且 介绍智能手机和AR/VR设备4K嵌 入式显示屏的 互操作显示处理单元 (DPU) 和MIPI® 显示接口 (DSI) IP解决方案。

应用处理器中的显示子系统剖析

应用处理器架构中的多媒体管道包含多个IP块,例如图形处理单元 (GPU)、视频处理单元 (VPU)、DPU和 MIPI DSI,如图1所示。随着显示的内容变得日益复杂,包括分辨率和帧速率方面的提升,GPU/CPU 必 须 卸载更多的功能,从而在不断缩减的硅片面积内提供更高的图形性能,并满足散热设计功耗要求。

图1:应用处理器中的两个关键显示IP块:Arm Mali-D71和配有DSC编码器的Synopsys DesignWare MIPI DSI主机控制器

图1:应用处理器中的两个关键显示IP块:Arm Mali-D71和配有DSC 编码器的 Synopsys DesignWare MIPI DSI主机控制器

Arm® Mali-D71 DPU是多媒体子系统中的基础处理器和GPU伴侣,在Android Hardware Composer HAL (HWC) 之后无缝地运行。在系统功耗和性能方面,Mali-D71提供了超高效 的多层硬件组成 解决方案。 它 还 执行内联正交旋转、高质量升级和降级、环境光适应和高质量HDR局部和全局色调映射,并且通过与Arm Assertive Display 5结合使用,提供颜色/色域管理。它在单个内存中透传执行以上所有操作,从而显著节 省 系统带宽(功耗)。多媒体管道支持Arm帧缓冲压缩 (AFBC) 的最新1.2版本,从而在性能和系统带宽方面的 优势进一步增加。Arm Corelink MMU-600也是Arm Display解决方案的基本组件。它经过优化而与Mali-D71 在4KB分页内存上协同运行,以保证对延时敏感应用的实时性能,例如VR。Mali-D71支持各种面板(手 机、平板电脑、电视、笔记本电脑等)的所有主要显示行业标准,包括MIPI DSI。 

Mali-D71通过显示接口与显示设备连接,例如MIPI DSI。接口必须在 带宽和速度 方面支持 4K显示 屏 的 全 部要求。据MIPI Alliance指出,DSI规范“为要求最苛刻的图像和视频场景提供了出色的色彩渲染,并支持立 体声内容的传输”(https://www.mipi.org/specifications/dsi)。设计人员可以采用经过高度优化的IP(例 如 新 思科技DesignWare® MIPI DSI控制器)将MIPI DSI规范集成到应用处理器或者芯片系统 (SoC) 中。 

新思科技MIPI DSI控制器是经过全面验证且可配置的IP,它可以将收到的像素数据(在这种情况 下是 Arm 的DPU)转换为MIPI DSI数据包,然后传输到与嵌入式显示屏连接的MIPI D-PHY链路。新思科技DSI IP通过 为超高清移动系统提供更多带宽而支持双DSI链路用例。它还支持视频电子标准协会 (VESA) 显示流压缩 (DSC) 标准,以减少4K分辨率所需的数据传输带宽。

从WQHD到4K显示

系统集成商必须选择DPU和DSI解决方案,而这种解决方案不仅提供了4K嵌入式显示屏需要的带宽、速度和 功耗,而且允许显示器无缝地互操作。图2给出了60Hz频率、每像素24位 (bpp) 的WQHD显示屏的例子,它 需要以6.3Gbps的速率从应用处理器向显示设备传输数据。

图2:智能手机应用中WQHD分辨率显示器的简图

图2:智能手机应用中WQHD分辨率显示器的简图

在本例中,一个显示输出单元的一个链路与一个MIPI DSI主机控制器连接,然后采用4通路MIPI D-PHY连接 显示设备。DSI主机控制器与2倍或3倍压缩目视无损失的VESA DSC编码器集成,从而将所需要的带 宽降低 到3.16Gbps。压缩流转换为MIPI DSI包,然后传送到D-PHY 链路。采用每 通路1Gbps的 4通路 操作可 实现 4Gbps的总可用带宽,这样的带宽足够传输压缩后的数据流。在显示设备上,整个过程相反。 DSI包由接收 器控制器恢复,而VESA DSC解码器进行数据解码,然后,图像在面板上显示。

相反,转换到4K显示屏需要不同的架构,如图3所示。90Hz频率、30 bpp的4K显 示屏分辨率需 要26.6Gbps 的带宽,并且需要两个显示驱动程序和相关的MIPI显示接口。显示驱动程序保持同步,以使图像 的两 半部 分正确地显示。

图3:智能手机或AR/VR应用中的4K分辨率显示屏简图

图3:智能手机或AR/VR应用中的4K分辨率显示屏简图

在本例中,一个显示输出单元的两个链路与两个独立的MIPI DSI主机控制器连接,然后采用2个4通路MIPI D-PHY连接到显示设备。压缩系数为3倍的DSC将每个DSI链路需要带宽减少到4.4Gbps。压缩后的数据流转换为MIPI DSI包,然后传送到D-PHY链路。采用每通路1.5Gbps 的2组4通路操作可 提供每个 DSI链路6Gbps 的总可用带宽,这足够向每个显示端口传输压缩后的数据流。

这两个例子表明了带有集成VESA DSC编码器的DSI解决 方案的优点。编码器减少了 :发送到显示 设备的 数 据量,D-PHY运行频率,D-PHY通路数量,以及显示帧缓存大小。这样的组合可显著降低功耗、占用面积 和 成本。

全面互操作的嵌入式显示解决方案

具有MIPI能力的显示器支持视频模式、命令模式或者同时支持。在视频模式下,主机必须持续刷 新显 示 屏。在采用DSI数据包时,通过MIPI总线传输的信息和图像数据实时同步。由于主机必须刷新显示屏,显 示 屏不需要帧缓冲。在命令模式下,MIPI主机采用显示命令集 (DCS) 向显示屏传输像素数据流,然后采用 DSI 包通过MIPI总线传输这些数据流。显示屏提供了全面的帧缓冲,用于存储整个像素数据。

一旦数据位于显示屏的帧缓冲中,显示屏上的本地定时控制器从帧缓冲中检索数据,并在显示屏上 显示。 MIPI 主机不需要持续刷新显示屏。

Arm和Synopsys已经建立了合作关系,旨在保证Arm Mali DPU和Synopsys DesignWare DSI控制器IP(带有 DSC编码器)对于视频和命令模式下的显示屏可全面互操作。除了基本的时钟和重设控制外,双方还提供 详细的接口连接,包括在 单双链路运 行模式下为每个 显示屏提供所 有针对特定 IP的滑带 信号。 双链路 操 作的可用带宽增加一倍,这对于超高清应用尤其重要。 表1列出了互操 作嵌入式显 示解决方案 支持的 几种 分辨率。

表11:新思科技/Arm互操作显示解决方案支持多种分辨率和配置

表1:新思科技/Arm互操作显示解决方案支持多种分辨率和配置

组合显示解决方案还支持多种高级特性,例如可变刷新率、动态分辨率变化和部分更新。

可变刷新率允许在帧传输期间改变总帧时间,因此可以改变有效帧率。这种动态刷新率更改在显示静态内容(如静态屏幕场景)和回放固定帧率的视频(如24fps或48 fps)时尤其有用。

动态分辨率更改解决方案允许在Mali-D71 DPU和新思科技DesignWare MIPI DSI主机控制器IP 之间传输多分 辨率视频流,而不需要对IP组件进行重新编程或重新配置。

如果显示外围支持部分更新,则可以对Mali-D71 DPU和新思科技DesignWare MIPI DSI主机控制器 IP 进 行 编程,仅从显示外围中更新所选的帧缓冲部分。对于仅逐帧更新屏幕的一部分,而屏幕 其余部 分在 大部 分 显示时间保持静态的情况(大部分帧显示期间),这种能力尤其有用。图4表示与状态栏、导航栏 和背景 一 同显示的视频回放画面。仅帧之间的视频内容发生变化,而其他显示层保持静态。通过支持部分更新,仅显 示帧的视频区域传送到显示屏上,这样可节省总体功耗。

图44:部分帧缓冲更新用例 – 带有静态状态/导航栏的视频回放

图4:部分帧缓冲更新用例 – 带有静态 状  态/导航栏的视频回放

新思科技与Arm保证完整且经优化的显示解决方案

对于智能手机和AR/VR设备,嵌入式显示分辨率正从WQHD向4K转变。然而,每个应用都需 要 独 特 的 一 组特性,以满足高带宽和高刷新率的要求。新思科技和Arm合作提供了完整的嵌入式显示解决方案,其中 包含可全面互操作的DPU和MIPI DSl接口,可帮助设计 人员最大限 度降低集成 风险。该解 决方案不仅 支 持命令模式和视频模式,而且融合了多项先进特性,例如可变刷新率、动态分辨率 更改和部分 更新。 两家 公司已经编制了全面的应用注释(需签订NDA后提供),可降 低SoC设计 人员在为高 端智能手机和 AR/VR 设备构建4K显示屏时的工作量和风险。欲了解详细信息,请联系我们,或者访问DesignWare MIPI DSI主机控制器Mali-D71 DPU网页。