DSO.ai
由人工智慧驅動的設計應用
瞭解更多 →
人工智慧(AI)如何賦予低解析度影像新生命
在設計數位電視之類的應用時，您會希望能盡可能提供最清晰、最生動的影像。但有時無法盡如人意，會出現解析度不夠的情況。例如，為了保留頻寬，必須以較低的解析度將視頻串流傳輸到顯示器，然後放大素材以符合顯示器的要求。幸運的是，隨著人工智慧(AI)和深度學習處理功能的出現，圖像處理技術已有長足的進步，能幫助您滿足圖像質量的要求。在這篇部落格文章中，我將討論AI和深度學習如何通過改善圖像質量來強化視覺應用。
視覺應用包含廣泛的領域，從稍早討論過的數位電視範例到遊戲、數位相機、遠距感測和和多功能印表機(MFP)等。為能在符合人們預期的情況下運作，這些應用程序都需要能提供高品質的影像，並且在許多情況下，這些影像需要即時處理及傳送。「數據處理不平等」(Data Processing Inequality)的概念明確指出，如果資訊本身並不存在，則無法將其添加到影像中。因此，當從像素顆粒明顯的影像開始著手時，只有少數的影像處理軟件工具可以執行；這也是為何需要全新等級的影像處理的原因。
更快速、更精準的影像處理
一旦經過訓練，卷積神經網絡(CNN)可提供相對有效的方式來增強影像。 CNN早在1980年代就出現，但直到2000年代應用在GPU後，才真的成為強大的圖像處理工具。神經網絡經過訓練，就會一直有效，它可被訓練成能識別任意類別，而無需為每個新參數進行額外編碼。
多年來，深度學習和神經網絡演算法已經發展為包含超解析度神經網絡(super-resolution neural networks)，可使圖像放大8倍甚至16倍，以獲得更清晰、更生動的效果。由於基於學習的演算法已經針對非常廣泛的數據集進行了訓練，因此擅長縮放圖像和恢復分辨率。他們知道如何運用訓練集中的數據來補足原始影像中遺失的數據。
在GPU和CPU上執行影像處理神經網絡適用於不需要即時影像結果的應用，例如某些電子遊戲(video games)或舊電影修復。假設有一個增強實境遊戲之類的應用程序，需要即時提供和顯示高解析度影像，同時還要從另一個來源獲取數據集；在這樣的情況下，某些GPU和CPU缺乏處理能力，無法提供即時結果。動態影像或視頻放大應用程序(尤其是那些使用超解析度神經網絡的應用程序)需要專用的神經網絡處理器。理想情況下，這種處理器應提供：
- 快速的效能
- 低功耗
- 小面積
- 可擴充性
- 支援各種神經網絡圖的靈活度
靈活的低功耗視覺處理器IP核(IP Cores)
新思科技在DesignWare®ARC®EV嵌入式視覺處理器系列中，針對嵌入式視覺應用提供了完整可編程和可配置的IP核。 這些內核結合軟體的靈活性與硬體的低成本和低功耗，整合成另一可供選擇的高性能深度神經網絡(DNN)加速器，可快速準確地執行CNN。由於這個加速器適用於各種神經網絡，因此它可以執行任何神經網絡影像以及客製影像。
與京瓷文檔解決方案公司的合作是視覺處理器系列最近的成功案例。京瓷最近使用帶有CNN引擎的DesignWare ARC EV6x嵌入式視覺處理器IP和DesignWare ARCMetaWare®EV開發工具套件，讓其新型MFP SoC成功完成首次矽晶試產。京瓷透過處理器IP獲取高性能AI處理能力，例如超高解柝度，以及支持未來AI模型的靈活性。該公司使用了基於新思科技HAPS®FPGA的原型系統，加快ARC EV軟件的開發、SoC集成和系統驗證。京瓷的TASKalfa 3554ci系列MFP SoC是業界首個具有AI功能，可支援按需超高解析度印表機的MFP SoC。
京瓷文檔解決方案公司軟件開發部總經理Michihiro Okada表示，將高級AI功能整合到我們的MFP SoC中需要具有高質量工具鏈的高性能、低功耗處理器IP，這使我們能夠在開發SoC的同時找到並測試AI演算法。只有新思科技的 DesignWare ARC EV處理器IP和成熟的MetaWare EV Toolkit才能滿足我們針對靈活性、性能、準確性和面積的要求。
下圖顯示了京瓷使用DesignWare ARC EV處理器IP可以實現的影像增強效果。
總結
隨著視覺應用市場的持續增長，對生動、清晰影像和視頻的需求只會增加。具有完整CNN引擎的視覺處理器IP可以提供高性能、低功耗和靈活性，讓原本可能是模糊或馬賽克化的影像呈現更出色的效果。