鑽石舞台

推薦作者介紹：

Chong Mou, School of Electronic and Computer Engineering Peking University/Shenzhen Graduate School, Peking University

現實世界超分辨率 (Real-world super-resolution) 是指從包含真實退化的低分辨率圖像中復原得到高分辨率的圖像. 可調節的現實世界圖像超分辨率是一個很有挑戰的任務, 因為降質(degradation)過程複雜且未知，可調節的交互機制很難通過有監督的訓練來完成. 來自騰訊ARC Lab 的研究者們提出了利用無監督的度量學習, 來訓練現實場景下可調節的圖像超分辨率任務.

現實世界圖像超分辨率是一個盲問題, 即我們不清楚降質過程. 對於可調節的圖像超分辨率, 之前的工作主要在經典退化的仿真數據上進行研究，也就是說我們已知了退化類型和退化強度。雖然這種設計在仿真數據上有不錯的表現，但在現實場景下的應用仍然存在很多問題：

經典的仿真退化很難模擬複雜的現實世界退化，訓練出的網絡在現實世界數據上重建效果較差。同時，這種設定下訓練得到的可調節交互機制在現實世界數據上的調節效果也會大打折扣。

雖然高階退化可以用來仿真現實世界的低清圖像，但這種仿真退化下的退化強度是未知的，很難通過有監督的訓練來構建這種可調節交互機制。

最近無監督的對比學習在底層視覺領域受到越來越多的關注。這類方法方便了複雜降質特徵的提取，這給來自騰訊ARC Lab的研究者們提供了一個思路: 是否可以利用對比的方式無監督的構建現實場景下圖像超分辨率的可調節交互機制?

論文：MM-RealSR: Metric Learning based Interactive Modulation for Real-World Super-Resolution了解詳情

https://www.aminer.cn/pub/627b29bf5aee126c0f101133

https://github.com/TencentARC/MM-RealSR

Colab Demo: https://colab.research.google.com/drive/1pIpHK4g2uKdbYXIuskusL9WdwQVZAz1q

這篇工作的核心是利用度量學習在高階仿真退化中，通過對比不同樣本退化強度大小的方式無監督地構建退化強度的度量空間。度量空間中的退化得分不代表真實的退化強度，但可以反映退化強度的相對大小。本篇文章提出的方法（MM-RealSR）通過度量空間中的退化得分來構建現實場景下圖像超分辨率的可調節交互機制。

在本篇文章中，我們提出了在複雜的退化空間中，劃分兩個度量空間，分別是廣義noise和廣義blur。因為這兩種退化因素是真實場景下最為常見的也是人們最關注，和最需要調節的。MM-RealSR在現實場景下可以達到如下圖1的調節效果。相比於近幾年其他可調節復原方法, MM-RealSR不僅實現了現實場景下的可調節圖像超分辨率, 整體重建結果也更加自然。

圖1. MM-RealSR在真實場景下的可調節超分辨率效果

現有可調節復原方案的回顧與對比

如圖2所示，首先來看，現有方案針對的圖像退化設定是低階的，需要已知退化類型和退化強度的。本文提出的方案面向現實場景，退化過程是高階的，未知退化類型和退化強度的。

圖2. 本文提出方案與現有方法的對比

MM-RealSR結構

本文關注真實場景中最常見的兩種退化因子，廣義noise和廣義blur，並對這兩種退化因子做了一般化的定義如圖3所示。其中noise包含高斯噪聲、泊松噪聲，和JPEG壓縮等；blur包含各向同性、各向異性，以及隨機尺寸變換等模糊因素。

圖3. 退化因子的定義

針對這兩種退化因子，本文提出的無監督退化估計模塊如圖4所示。通過度量學習，該模塊將難以量化的現實世界退化強度映射到兩個獨立的度量空間之中。通過不同退化強度之間的大小對比，構建度量空間中的距離關係。本文額外通過一個錨點損失函數限制度量空間的分布。雖然度量空間中的退化得分無法反映真實的退化強度，但可以體現退化強度的相對大小關係。本文將無監督的退化估計模塊和圖像超分辨率模塊進行聯合訓練，來構建退化得分和重建結果之間的可調節關係。

圖4. 基於度量學習的無監督退化估計模塊

本文提出的總模型結構如圖5所示。由退化估計模塊、狀態變量生成模塊，以及重建模塊構成。其中狀態變量生成模塊將預測到的退化得分轉化成一組狀態變量，並將這組狀態變量以仿射變換的方式注入圖像重建模塊當中去，起到調節重建結果的作用。實驗證明，本文提出的方法兼顧優越的重建效果和可調節能力。

圖5. 基於度量學習的可調節現實世界圖像超分辨率網絡

損失函數

本文通過L1，Perceptual和GAN復原損失函數來保證圖像重建質量，通過度量損失函數（margin ranking losses）來訓練噪聲度量空間和模糊度量空間。度量損失函數的表達式:

為了控制度量空間中評分的分布，本文還提出了一個錨點損失函數：

和現有的現實世界圖像超分辨率工作Real-ESRGAN類似，本文採用高階退化的仿真數據作為訓練數據。更多的細節請參見論文。

實驗結果

研究者們在現實世界的低質量數據上做了重建效果的測試:

可以看到，本文提出的方法在具備交互能力的基礎上，超分辨率的性能也達到了SOTA的水平，主觀結果也更加美觀自然。

研究者們在現實世界數據上對無監督退化評分器的評分能力進行了測試：

可以看到，無監督退化評分器可以較好地評估現實場景下的退化強度。

研究者們在現實世界數據上對網絡的交互重建能力進行了測試：

可以看到，對比現有方法，MM-RealSR在交互重建能力上有更好的表現。它的交互範圍更大，重建效果更好。

小結

本文提出了在真實場景下，可調節的維度主要是廣義noise和廣義blur兩方面。通過無監督的度量學習，首次實現了真實場景下可調節的圖像超分辨率。提出的方法在調節能力和超分辨率性能上都取得了優異的表現。