Dual Residual Networks文章中去雨滴部分的阅读笔记

原文: Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

原文代码github

博主的阅读笔记：

• Gaussian&real-world noise removal（去噪任务阅读笔记）

• motion blur removal （去运动模糊任务阅读笔记）

• haze removal （去雾任务阅读笔记）

• rain-streak removal （去雨线任务阅读笔记）

• 笔记总结（五种任务的对比）

文章目录

• • 去雨滴（Raindrop removal）
  • • 网络设计
    • • RuRN-S-P
      • DuRB-S&DuRB-P
      • 损失函数
    • 数据集
    • 实验设置
    • • Experimental Setting on RainDrop Dataset

去雨滴（Raindrop removal）

网络设计

这个任务可以自然被分为两个阶段：

• 识别出含雨滴的区域
• 恢复识别区域的像素

第二阶段类似于图像恢复任务，可能并不难，因为有很多成功的图像恢复方法。那么，主要的问题是第一阶段。根据这个两阶段的方法，目前最先进的方法[32]使用一个注意力递归网络（ attentive-recurrent network）来产生一个注意力图，传达关于雨滴的信息；然后，将注意力图和输入图像输入到卷积编码器-解码器网络中，对真实图像进行评估。它还采用了带有鉴别器的对抗性训练，使生成的图像具有真实感。

RuRN-S-P

整个网络（RuRN-S-P），作者采用一个对称的自编码-解码器网络：

• 堆叠3个DuRB-S块 + 6个DuRB-P块

  其中：

  1. 对3个DuRB-S块

     c t 1 l ct_1^l ct1l​ ：在前馈方向上，使用一个卷积层：卷积核3x3，膨胀率（dilation rates）分别以12、8、6依次减少，以此定位原始图像中雨滴的位置。

  2. 对6个DuRB-P块

     采样核噪声去除部分同样的策略，即在前馈方向上使用一系列感受野逐增的卷积。

DuRB-S&DuRB-P

使DuRB-S块与DuRB-P块的组合：

T 2 l T_2^l T2l​ 中的se如图所示：

fc为nn.Linear()，即全连接层（fully connected layer）

特别地：SE为SE-ResNet的SE模块。

​ SE-ResNet论文：Squeeze-and-excitation networks（该论文对通道注意(CA)的机制原理讲的非常具体，建议阅读）。文献是用于分类任务，提出了新的架构单元，即“Squeeze-and-Excitation”(SE)块，这项工作拿到了ImageNet2017 image classification 的冠军。

另外：博主也在另一篇博客对CA进行了粗略的解释，或请移步RCAN阅读笔记(CA讲解在目录可直达Channel Attention（CA）)

c t 1 l ct_1^l ct1l​ 和 c t 2 l ct_2^l ct2l​ 的具体细节：

• c t 1 l ct_1^l ct1l​

• c t 2 l ct_2^l ct2l​

  • 对所有的DuRB-S块，采用同样的 c t 2 l ct_2^l ct2l​ ：kernel size = 3×3, dilation rate = 1

  • 对所有的DuRB-P块，采用同样的 c t 2 l ct_2^l ct2l​ ：kernel size = 5×5, dilation rate = 1

损失函数

​ SSIM和 l 1 l_1 l1​ 损失的加权和

数据集

**RainDrop Dataset**：包含861个训练样本和58/249个测试样本（称为TestSetA/TestSetB）。 TestSetA是TestSetB的子集，比TestSetB拥有更好的对齐效果。

实验设置

Experimental Setting on RainDrop Dataset

训练中，设置batch size = 24，input size = 256x256（通过对原始720x480图像随机裁剪获得）.

使用 1.1 x SSIM + 0.75 x l 1 l_1 l1​ 损失训练网络4000次，然后转化到使用 l 1 l_1 l1​ 损失训练网络100次。

Dual Residual Networks文章中去雨滴部分的阅读笔记

原文: Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

原文代码github

博主的阅读笔记：

• Gaussian&real-world noise removal（去噪任务阅读笔记）

• motion blur removal （去运动模糊任务阅读笔记）

• haze removal （去雾任务阅读笔记）

• rain-streak removal （去雨线任务阅读笔记）

• 笔记总结（五种任务的对比）

文章目录

• • 去雨滴（Raindrop removal）
  • • 网络设计
    • • RuRN-S-P
      • DuRB-S&DuRB-P
      • 损失函数
    • 数据集
    • 实验设置
    • • Experimental Setting on RainDrop Dataset

去雨滴（Raindrop removal）

网络设计

这个任务可以自然被分为两个阶段：

• 识别出含雨滴的区域
• 恢复识别区域的像素

第二阶段类似于图像恢复任务，可能并不难，因为有很多成功的图像恢复方法。那么，主要的问题是第一阶段。根据这个两阶段的方法，目前最先进的方法[32]使用一个注意力递归网络（ attentive-recurrent network）来产生一个注意力图，传达关于雨滴的信息；然后，将注意力图和输入图像输入到卷积编码器-解码器网络中，对真实图像进行评估。它还采用了带有鉴别器的对抗性训练，使生成的图像具有真实感。

RuRN-S-P

整个网络（RuRN-S-P），作者采用一个对称的自编码-解码器网络：

• 堆叠3个DuRB-S块 + 6个DuRB-P块

  其中：

  1. 对3个DuRB-S块

     c t 1 l ct_1^l ct1l​ ：在前馈方向上，使用一个卷积层：卷积核3x3，膨胀率（dilation rates）分别以12、8、6依次减少，以此定位原始图像中雨滴的位置。

  2. 对6个DuRB-P块

     采样核噪声去除部分同样的策略，即在前馈方向上使用一系列感受野逐增的卷积。

DuRB-S&DuRB-P

使DuRB-S块与DuRB-P块的组合：

T 2 l T_2^l T2l​ 中的se如图所示：

fc为nn.Linear()，即全连接层（fully connected layer）

特别地：SE为SE-ResNet的SE模块。

​ SE-ResNet论文：Squeeze-and-excitation networks（该论文对通道注意(CA)的机制原理讲的非常具体，建议阅读）。文献是用于分类任务，提出了新的架构单元，即“Squeeze-and-Excitation”(SE)块，这项工作拿到了ImageNet2017 image classification 的冠军。

另外：博主也在另一篇博客对CA进行了粗略的解释，或请移步RCAN阅读笔记(CA讲解在目录可直达Channel Attention（CA）)

c t 1 l ct_1^l ct1l​ 和 c t 2 l ct_2^l ct2l​ 的具体细节：

• c t 1 l ct_1^l ct1l​

• c t 2 l ct_2^l ct2l​

  • 对所有的DuRB-S块，采用同样的 c t 2 l ct_2^l ct2l​ ：kernel size = 3×3, dilation rate = 1

  • 对所有的DuRB-P块，采用同样的 c t 2 l ct_2^l ct2l​ ：kernel size = 5×5, dilation rate = 1

损失函数

​ SSIM和 l 1 l_1 l1​ 损失的加权和

数据集

**RainDrop Dataset**：包含861个训练样本和58/249个测试样本（称为TestSetA/TestSetB）。 TestSetA是TestSetB的子集，比TestSetB拥有更好的对齐效果。

实验设置

Experimental Setting on RainDrop Dataset

训练中，设置batch size = 24，input size = 256x256（通过对原始720x480图像随机裁剪获得）.

使用 1.1 x SSIM + 0.75 x l 1 l_1 l1​ 损失训练网络4000次，然后转化到使用 l 1 l_1 l1​ 损失训练网络100次。