
極市導讀
深度神經網絡(DNN)在圖像重建方面取得了巨大的成功。然而,大多數DNN方法採用黑盒設計,缺乏可解釋性。本文提出了一種普適的深度展開網絡(DGUNet)用於圖像重建。具體來說,在不損失可解釋性的情況下,論文提出的方法將梯度估計策略集成到近端梯度下降(PGD)算法的梯度下降過程中。>>加入極市CV技術交流群,走在計算機視覺的最前沿

論文鏈接:https://arxiv.org/abs/2204.13348
代碼地址:https://github.com/MC-E/Deep-Generalized-Unfolding-Networks-for-Image-Restoration
1.摘要深度神經網絡(DNN)在圖像重建方面取得了巨大的成功。然而,大多數DNN方法採用黑盒設計,缺乏可解釋性。雖然一些方法將傳統的優化算法與DNN相結合,但它們通常需要已知的退化過程或手工製作的退化假設,這使其難以處理複雜和真實的退化場景。本文提出了一種普適的深度展開網絡(DGUNet)用於圖像重建。具體來說,在不損失可解釋性的情況下,論文提出的方法將梯度估計策略集成到近端梯度下降(PGD)算法的梯度下降過程中。此外,本文在不同的PGD迭代步中設計了尺度的階段間信息通路,來克服大多數深度展開網絡(DUN)的級間信息損失。通過整合提出的自適應梯度下降模塊和有信息量的近端映射模塊,我們將迭代的PGD算法展開為一個可訓練的DNN。在各種圖像重建任務上的實驗表明,本文提出的方法具有優異的性能、可解釋性和通用性。
2.方法從貝葉斯最大後驗角度出發,傳統的基於模型的方法將圖像重建定義為如下公式:
其中 代表數據保真項, 代表先驗項。通常使用 損失函數作為數據保真項,因此, 上式可以進一步變形為:
基於近端梯度下降算法(PGD), 上式可以被展開為一個迭代的求解過程:
其中紅色部分代表梯度下降, 藍色部分代表近端映射。進而可以將上式分解為:
其中 A 代表退化矩陣, prox 要已知的退化矩陣 , 很難處理退化末知的真實場景。本文基於 PGD 算法, 用深度網絡對 其進行展開。詳細的, 本文將退化矩陣 和近端映射方程用深度網絡代替, 並將梯度下降 的步長 設置為可學習的參數。因此, 梯度下降過程被重定義為:
近端映射模塊還融人了階段間信息來克服深度展開網絡的階段間信息損失:
綜上所述,本文提出方法的深度展開結構為:

本文提出方法的損失函數為常用的 損失函數, 對每個階段的輸出都進行約束:
其中K代表階段的數量。
3.實驗對比3.1圖像去雨





可以看到,本文提出的DGUNet在保持可解釋性的基礎上,性能在多種圖像重建任務上達到目前最優水平。
公眾號後台回復「CVPR 2022」獲取論文合集打包下載~

#CV技術社群邀請函#

備註:姓名-學校/公司-研究方向-城市(如:小極-北大-目標檢測-深圳)
即可申請加入極市目標檢測/圖像分割/工業檢測/人臉/醫學影像/3D/SLAM/自動駕駛/超分辨率/姿態估計/ReID/GAN/圖像增強/OCR/視頻理解等技術交流群
每月大咖直播分享、真實項目需求對接、求職內推、算法競賽、乾貨資訊匯總、與10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發者互動交流~
