探索图像逆问题的本质：零值域分解

论文链接：https://arxiv.org/abs/2212.00490
开源代码：https://github.com/wyhuai/DDNM

项目主页：https://wyhuai.github.io/ddnm.io/

简单来说，DDNM可以实现多种目标，包括:

· DDNM能实现各类图像修复任务，包括但不限于SR，Colorization，Inpainting，Deblurring，CS，Denoising等等。

· DDNM可以解决任意倍率，比如2 ~ 256倍SR，采样率100% ~ 0.1%的CS，任意mask的Inpainting。

· DDNM可以解决含噪修复，甚至非常强的噪声。

· DDNM可以解决盲修复，比如真实世界超分，以及老照片修复等等。

· 以上内容皆无需训练，无需优化，只需要一个预训练好的普通扩散模型即可。

接下来我们详细讲解最核心的理论部分。

一、图像逆问题

可见，这个结果肉眼上看上去是高度一致的，那么数学上呢？考虑约束1的定义，我们有

完全满足约束1。这是为什么呢？接下来我们揭示其中蕴含的数学原理：零值域分解

二、零值域分解

2.1 矩阵中的零值域分解

零值域分解（Range-Null Space Decomposition，以下简称RND）是一个线性代数的概念。这里我们仅用矩阵来做推导，但后续的结论对任意线性算子形式（譬如卷积）皆适用。

2.2 图像逆问题中的零值域分解

三、零域求解

既然零域求解的目的，就是要让图像趋于目标图像域的分布，那么我们自然想到了两种方法：GAN和Diffusion。接下来介绍我们的两个相关工作。

3.1 基于GAN Prior的零域学习

论文：

GAN Prior based Null-Space Learning for Consistent Super-Resolution （AAAI 2023）

Github：

https://github.com/wyhuai/RND

以图像超分为例，近年来基于GAN Prior的工作不少。总的来说，它们都使用一个网络

来直接预测结果:

而我们的方法很简单，就是将网络预测的结果作为零域提取项

得到

8xSR，第一行是我们的SR结果，第二行是原网络的下采样一致性误差（约束1），第三行是用我们方法训练的下采样一致性误差（约束1）。可见，我们的方法显著提高了一致性。

在使用和原网络相同的训练配置下，我们的方法能大幅加速收敛，提升最终性能。这是因为原本的方法需要网络同时学习零域和值域内容，而我们的方法只需要学习零域。

3.2 基于零域扩散的Diffusion Models

论文：

Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model

开源代码：

https://github.com/wyhuai/DDNM

项目主页：

https://wyhuai.github.io/ddnm.io/

经过这样一个简单操作，就能解决各类图像重建问题。

DDNM无需训练，无需优化，只需使用一个预训练好的扩散模型，即可解决各种图像逆问题，在内存和时间消耗上，和原扩散模型基本无异。支持任务包括超分，上色，填充，压缩感知，去模糊，去噪，等等。

此外，DDNM+还可以用于老照片修复等复杂应用，如下所示

为了便于理解，我们再展开讲一下盲修复的思路。我们发现真实退化图的退化基本上可以简化为四种类别：

1. 分辨率问题

2. 颜色退化

3. 局部瑕疵

4. 全局噪声

然后接下来的流程就和一般的DDNM+一样了。本质上还是保留有效值域信息，重建零域部分。

具体细节以及理论推导可以参考我们的论文。

四、局限

目前看来，我们的设定存在的主要局限有二：

1. 退化算子A 必须是已知的，且必须得到其伪逆

。虽然DDNM+证明了现实世界的退化图往往可以用很简单的退化算子来进一步提取有效值域，得到不错的结果，但仍存在当前方案难以解决的任务，比如去雨，去雾，暗光增强等等。这些算子不但未知，而且很难构建简单的退化来从退化图中提取有效值域。

2. 退化算子A必须是线性的。非线性算子或许也存在 “伪逆”，但其不一定满足分配律，比如，

，因此非线性算子不一定存在线性可分的零域和值域。

总的来说，我个人非常喜欢DDNM这项工作，我们大部分时间都花在公式推导之中，而这些推导最终得出了理论完备、极具可解释性、无需炼丹的方法。

这是一个全新的解决low-level问题的思路，我们无需训练，就能达到接近sota的重建效果（认为如果有一个预训练的高分辨率扩散模型，效果会更好）。我们希望这些工作对low-level领域会有新的启发。

欢迎大家讨论，以及指正批评~

参考文献

Schwab et al., Deep null space learning for inverse problems: convergence analysis and rates, Inverse Problems 2019
Ho et al., Denoising diffusion probabilistic models, NeurIPS 2020
Song et al., Denoising Diffusion Implicit Models, ICLR 2021
Wang et al., GAN Prior based Null-Space Learning for Consistent Super-Resolution, AAAI 2023
Wang et al., Zero Shot Image Restoration Using Denoising Diffusion Null-Space Model, arXiv:2212.00490

作者：王荫槐

文章来源：知乎【https://zhuanlan.zhihu.com/p/588663035】

Illustration by Delesign Graphics from IconScout