人工智慧(AI)如何賦予低解析度影像新生命

更快速、更精準的影像處理

一旦經過訓練，卷積神經網絡(CNN)可提供相對有效的方式來增強影像。 CNN早在1980年代就出現，但直到2000年代應用在GPU後，才真的成為強大的圖像處理工具。神經網絡經過訓練，就會一直有效，它可被訓練成能識別任意類別，而無需為每個新參數進行額外編碼。

多年來，深度學習和神經網絡演算法已經發展為包含超解析度神經網絡(super-resolution neural networks)，可使圖像放大8倍甚至16倍，以獲得更清晰、更生動的效果。由於基於學習的演算法已經針對非常廣泛的數據集進行了訓練，因此擅長縮放圖像和恢復分辨率。他們知道如何運用訓練集中的數據來補足原始影像中遺失的數據。

在GPU和CPU上執行影像處理神經網絡適用於不需要即時影像結果的應用，例如某些電子遊戲(video games)或舊電影修復。假設有一個增強實境遊戲之類的應用程序，需要即時提供和顯示高解析度影像，同時還要從另一個來源獲取數據集；在這樣的情況下，某些GPU和CPU缺乏處理能力，無法提供即時結果。動態影像或視頻放大應用程序(尤其是那些使用超解析度神經網絡的應用程序)需要專用的神經網絡處理器。理想情況下，這種處理器應提供：

• 快速的效能
• 低功耗
• 小面積
• 可擴充性
• 支援各種神經網絡圖的靈活度

靈活的低功耗視覺處理器IP核(IP Cores)

新思科技在DesignWare®ARC®EV嵌入式視覺處理器系列中，針對嵌入式視覺應用提供了完整可編程和可配置的IP核。 這些內核結合軟體的靈活性與硬體的低成本和低功耗，整合成另一可供選擇的高性能深度神經網絡(DNN)加速器，可快速準確地執行CNN。由於這個加速器適用於各種神經網絡，因此它可以執行任何神經網絡影像以及客製影像。

與京瓷文檔解決方案公司的合作是視覺處理器系列最近的成功案例。京瓷最近使用帶有CNN引擎的DesignWare ARC EV6x嵌入式視覺處理器IP和DesignWare ARCMetaWare®EV開發工具套件，讓其新型MFP SoC成功完成首次矽晶試產。京瓷透過處理器IP獲取高性能AI處理能力，例如超高解柝度，以及支持未來AI模型的靈活性。該公司使用了基於新思科技HAPS®FPGA的原型系統，加快ARC EV軟件的開發、SoC集成和系統驗證。京瓷的TASKalfa 3554ci系列MFP SoC是業界首個具有AI功能，可支援按需超高解析度印表機的MFP SoC。

京瓷文檔解決方案公司軟件開發部總經理Michihiro Okada表示，將高級AI功能整合到我們的MFP SoC中需要具有高質量工具鏈的高性能、低功耗處理器IP，這使我們能夠在開發SoC的同時找到並測試AI演算法。只有新思科技的 DesignWare ARC EV處理器IP和成熟的MetaWare EV Toolkit才能滿足我們針對靈活性、性能、準確性和面積的要求。

下圖顯示了京瓷使用DesignWare ARC EV處理器IP可以實現的影像增強效果。

總結

隨著視覺應用市場的持續增長，對生動、清晰影像和視頻的需求只會增加。具有完整CNN引擎的視覺處理器IP可以提供高性能、低功耗和靈活性，讓原本可能是模糊或馬賽克化的影像呈現更出色的效果。