Arm 推出精確超解析度 (ASR) 圖像提升技術

 

July 19, 2024

 

作者：Arm 開發者生態系策略總監 Peter Hodges

 

Arm ASR 圖像提升技術

 

近日，Arm 推出了Arm 精確超解析度 (Arm Accuracy Super Resolution, Arm ASR) 圖像提升技術，这是一款针对行动装置进行优化升级的最佳开源超解析度（下文简称「超解析度」）解决方案。本文将為您介绍我们採用的方法，并欢迎您一同加入我们的技术探索之"旅。

 

製作精良的游戏能夠帶領玩家踏上一段動人的旅程。游戏開發者套件裡有許多工具可以為此增加助力，例如引人入勝的音樂、富有想像力的操控模式和圖像效果等。就圖像技術而言，手遊中圖像的精細程度令人震撼。游戏被渲染到包含數百萬像素的螢幕上，並以驚人的 60Hz 或更高的刷新率顯示呈現。

 

持續推動游戏開發更上一層樓的是這個產業永無止境的追求。現代手遊透過複雜的光照和著色器，不斷突破極限，以實現开发人员的願景。然而其代價在於，這不僅加重了 GPU 的負載，還將消耗更多電力，即使是在高階 PC 上，超解析度技術正是我們追尋的答案。

 

 

Arm 精確超解析度技術

 

透过超解析度技术，一帧的内容得以在某些阶段先以较低解析度渲染，然后应用该技术从低解析度放大到高解析度。这一技术并非在帧渲染的每个环节都使用，否则可能会在渲染全萤幕效果或使用者介面时产生不美观的瑕疵。然而，在渲染流程的早期阶段，该技术可以发挥显着作用，并做為流程的一环提供抗锯齿效果。

 

图：将超解析度技术整合到每帧中

 

 

后处理技术示范

 

基於光照的后处理 基於图像的后处理
萤幕空间反射 胶片颗粒
萤幕空间环境光遮蔽 色差
降噪器（阴影、反射） 晕影
曝光 色调映射

 

 

在眾多可用的解決方案中，AMD FidelityFX™ 超級解析度 2 (FSR 2) 吸引了我們的關注。做為 GPUOpen 的一部分，該開源專案於 2016 年啟動，採用相對寬鬆的 MIT 許可證，其用意在提供可移植的解決方案，以緩解 PC 和游戏主機之"間存在的效能差異。這引發了我們的關注和思考：優異的行動端解決方案應該具備哪些特性？

 

 

超解析度技术的类型

 

超解析度技術主要分為空間類和時域類。最先問世和被开发人员採用的是空間類技術。

 

空間類超解析度會逐幀生成結果，其工作原理更容易理解，對游戏引擎的要求也相對較低，例如 FSR 1 和驍龍游戏超級解析度 (GSR) 就是這一類的代表。但該技術的缺點在於，开发人员在選擇渲染解析度時不能太過積極，否則最終圖像可能會出現模糊。不過，這種技術的算力成本相對較低。

 

而時間放大技術則更為複雜，它透過整合多幀的資訊來生成最終結果。通常，它能夠從較低解析度生成更高品質的圖像。但這對游戏引擎提出了額外的輸入要求。例如，必須提供深度和運動向量資訊，並且最好有反應性遮罩，以便處理如粒子效果等缺乏深度或運動資訊的元素。

 

 

迈向时间放大技术

 

我們決定直接選用時間放大技術，來因應常見的圖像效能挑戰，並為手遊開發者帶來優勢。我們以 AMD FSR 2 為基礎，它能提供不錯的效果，但實現成本相對較高，僅適用於 PC 和高階游戏主機。我們的解決方案源自 FSR 2，因此开发人员能夠繼續使用熟悉的 API 和配置選項。

 

在研究過程中，我們採用了大家熟悉的小餐館場景，並且增加了更多的局部重疊光源和主光源衰減，以此模擬實際的運算挑戰，大約需要渲染 280 萬個三角形。

 

小餐館場景

圖：小餐館場景由 NVIDIA 提供，並基於 Creative Commons CC-BY-4.0 授權合約進行發表

 

 

針對搭載 Arm Immortalis-G720 GPU 和採用 2800x1260 顯示解析度的商用行動裝置，我們對收集的結果進行分析後，發現 GPU 效能得到了顯著提升。

 

 

使用 Arm ASR、FSR 2、FSR 1 和 GSR 時的原生解析度和提升效能的幀率分析圖表

圖：使用 Arm ASR、FSR 2、FSR 1 和 GSR 時的原生解析度和提升效能的幀率分析

 

 

同樣重要的是，這項技術能夠穩定保持在相對較低的溫度下，渲染出高品質的結果。而以原生解析度進行渲染時，不可避免地會出現明顯的發熱升溫，這將有損游戏中的使用者體驗，並縮短游戏時間。

 

 

Arm ASR 的效能表現

 

Arm ASR 的優異效能來自於結合了高效率的著色器程式碼，不僅減輕了 GPU 的負載，也降低了頻寬需求。

 

FSR 2 和 Arm ASR 的 GPU 效能分析圖表

圖：FSR 2 和 Arm ASR 的 GPU 效能分析

 

效能的提升往往也同樣意味著節省能耗，由此可以延長電池續航時間，這對於使用者的日常使用是一大利多。在我們與聯發科技的協作中，證實了這項推測，在搭載天璣 9300 晶片的手機上進行了測試並得到了以下結果。

 

圖：原生全解析度 (1080p)、Arm ASR 品質、平衡和效能模式下從 540p 提升到 1080p，以及原生半解析度 (540p) 的功耗對比

 

Arm 游戏內容團隊一直在努力製作一款 Unreal Engine 展示，以挑戰未來行動端 GPU 的效能極限。我們也期待將 Arm ASR 應用於此類內容展示中。

 

Mori 演示畫面

圖：由 Arm 內容團隊提供的 Mori 展示畫面

 

這個展示場景中包含了許多精緻入微的細節，這正是因為我們在 Arm ASR 中支援了穩健對比度自我調整銳化 (RCAS) 技術，AMD FSR 1 和 FSR 2 也採用了這項技術。效果顯而易見：

 

Mori 場景放大圖

圖：Mori 場景中的放大部分

 

 

与开源社群共享成果

 

我們對這項工作成果深感自豪，並希望基於 MIT 開源授權合約與开发人员社群共享成果，使得每一位开发人员都能親身感受 Arm ASR 的優勢，並在自己的專案中嘗試應用。如果您希望成為早期採用者，請點擊与我们联繫。