Dual Residual Networks文章中去雾部分的阅读笔记
原文: Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
原文代码github
博主的阅读笔记：
-
Gaussian&real-world noise removal（去噪任务阅读笔记）
-
motion blur removal （去运动模糊任务阅读笔记）
-
raindrop removal （去雨滴任务阅读笔记）
-
rain-streak removal （去雨线任务阅读笔记）
-
笔记总结（五种任务的对比）
文章目录
- 去雾（Haze Removal）
- 网络设计
- RuRN-US
- DuRB-US
- 损失函数
- 数据集
- 实验设置
- Experimental Setting on Dehaze Dataset
- Experimental Setting on RESIDE
去雾（Haze Removal）
网络设计
与以往的研究不同的是，本文使用CNN来明确地估计一个传输图，这个传输图模拟了雾霾的影响，而本文追求的是一个不同的策略，即通过一个注意力机制来隐含地估计一个传输图。本文的模型以端到端的方式估计输入图像的去雾图像。
RuRN-US
整个网络（RuRN-US），作者采用一个对称的自编码-解码器网络（类似于DuRN-U）：
- 堆叠12个DuRB-US块
- 所有层的通道数量均为64
DuRB-US
作者采样上采样和通道注意用于成对操作，并把它称为DuRB-US：
其中：
c c c 为卷积层， T 1 l T_1^l T1l 和 T 2 l T_2^l T2l 为两个成对操作：分别为上采样和通道注意操作。
T 1 l T_1^l T1l ：上采样（up-sampling）+ 一个卷积层（ c t 1 l ct_1^l ct1l ）
T 2 l T_2^l T2l ：通道注意（ channel-wise attention，se）+ 一个卷积层（ c t 2 l ct_2^l ct2l）
T 2 l T_2^l T2l 中的se如图所示：
fc为nn.Linear()，即全连接层（fully connected layer）
特别地：channel-wise attention使用的是SE-ResNet的SE模块。
SE-ResNet论文：Squeeze-and-excitation networks（该论文对通道注意(CA)的机制原理讲的非常具体，建议阅读）。文献是用于分类任务，提出了新的架构单元，即“Squeeze-and-Excitation”(SE)块，这项工作拿到了ImageNet2017 image classification 的冠军。
另外：博主也在另一篇博客对CA进行了粗略的解释，或请移步RCAN阅读笔记(CA讲解在目录可直达Channel Attention（CA）)
c t 1 l ct_1^l ct1l 和 c t 2 l ct_2^l ct2l 的具体细节：
- c t 1 l ct_1^l ct1l （“recp.”表示感受野， l l l 表示第几个DuRB-U）
-
c t 2 l ct_2^l ct2l
对所有的DuRB-US块，采用同样的 c t 2 l ct_2^l ct2l ：kernel size = 3×3, dilation rate = 1 and stride = 2，执行简单的下采样操作。
损失函数
SSIM和 l 1 l_1 l1 损失的加权和
数据集
在两个数据集上训练和测试DuRN-US的性能：
-
Dehaze Dataset
Dehaze Dataset 中的训练和测试子集（Dehaze-TsetA）包含4000张和400张无重叠的室内场景图像
-
RESIDE dataset
RESIDE 由一个包含13990个样本的训练子集和一些测试子集所组成。使用包含500个室内场景样本的子集SOTS（Synthetic Objective Testing Set）用于测试。
RESIDE dataset的具体信息见博主的另一篇博客：FFA-Net：文章理解与代码注释（目录直达数据集和指标（Datasets and Metrics））
实验设置
Experimental Setting on Dehaze Dataset
训练中，设置batch size = 20，input size = 256x256（通过对原始512x512训练图像随机裁剪获得）
Experimental Setting on RESIDE
训练中，设置batch size = 48，input size = 256x256（通过对原始620x460图像随机裁剪获得）
Dual Residual Networks文章中去雾部分的阅读笔记
原文: Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
原文代码github
博主的阅读笔记：
-
Gaussian&real-world noise removal（去噪任务阅读笔记）
-
motion blur removal （去运动模糊任务阅读笔记）
-
raindrop removal （去雨滴任务阅读笔记）
-
rain-streak removal （去雨线任务阅读笔记）
-
笔记总结（五种任务的对比）
文章目录
- 去雾（Haze Removal）
- 网络设计
- RuRN-US
- DuRB-US
- 损失函数
- 数据集
- 实验设置
- Experimental Setting on Dehaze Dataset
- Experimental Setting on RESIDE
去雾（Haze Removal）
网络设计
与以往的研究不同的是，本文使用CNN来明确地估计一个传输图，这个传输图模拟了雾霾的影响，而本文追求的是一个不同的策略，即通过一个注意力机制来隐含地估计一个传输图。本文的模型以端到端的方式估计输入图像的去雾图像。
RuRN-US
整个网络（RuRN-US），作者采用一个对称的自编码-解码器网络（类似于DuRN-U）：
- 堆叠12个DuRB-US块
- 所有层的通道数量均为64
DuRB-US
作者采样上采样和通道注意用于成对操作，并把它称为DuRB-US：
其中：
c c c 为卷积层， T 1 l T_1^l T1l 和 T 2 l T_2^l T2l 为两个成对操作：分别为上采样和通道注意操作。
T 1 l T_1^l T1l ：上采样（up-sampling）+ 一个卷积层（ c t 1 l ct_1^l ct1l ）
T 2 l T_2^l T2l ：通道注意（ channel-wise attention，se）+ 一个卷积层（ c t 2 l ct_2^l ct2l）
T 2 l T_2^l T2l 中的se如图所示：
fc为nn.Linear()，即全连接层（fully connected layer）
特别地：channel-wise attention使用的是SE-ResNet的SE模块。
SE-ResNet论文：Squeeze-and-excitation networks（该论文对通道注意(CA)的机制原理讲的非常具体，建议阅读）。文献是用于分类任务，提出了新的架构单元，即“Squeeze-and-Excitation”(SE)块，这项工作拿到了ImageNet2017 image classification 的冠军。
另外：博主也在另一篇博客对CA进行了粗略的解释，或请移步RCAN阅读笔记(CA讲解在目录可直达Channel Attention（CA）)
c t 1 l ct_1^l ct1l 和 c t 2 l ct_2^l ct2l 的具体细节：
- c t 1 l ct_1^l ct1l （“recp.”表示感受野， l l l 表示第几个DuRB-U）
-
c t 2 l ct_2^l ct2l
对所有的DuRB-US块，采用同样的 c t 2 l ct_2^l ct2l ：kernel size = 3×3, dilation rate = 1 and stride = 2，执行简单的下采样操作。
损失函数
SSIM和 l 1 l_1 l1 损失的加权和
数据集
在两个数据集上训练和测试DuRN-US的性能：
-
Dehaze Dataset
Dehaze Dataset 中的训练和测试子集（Dehaze-TsetA）包含4000张和400张无重叠的室内场景图像
-
RESIDE dataset
RESIDE 由一个包含13990个样本的训练子集和一些测试子集所组成。使用包含500个室内场景样本的子集SOTS（Synthetic Objective Testing Set）用于测试。
RESIDE dataset的具体信息见博主的另一篇博客：FFA-Net：文章理解与代码注释（目录直达数据集和指标（Datasets and Metrics））
实验设置
Experimental Setting on Dehaze Dataset
训练中，设置batch size = 20，input size = 256x256（通过对原始512x512训练图像随机裁剪获得）
Experimental Setting on RESIDE
训练中，设置batch size = 48，input size = 256x256（通过对原始620x460图像随机裁剪获得）