READ
READ-2318 FLAME Taming Backdoors in Federated Learning
| 论文名称 | FLAME Taming Backdoors in Federated Learning |
|---|---|
| 作者 | Thien Duc Nguyen, Phillip Rieger, Huili Chen |
| 来源 | USENIX Security 2022 |
| 领域 | Machine Learning - Federal learning - Security - Defence - Backdoor attack |
| 问题 | 已有的防御后门攻击的方法存在以下问题：基于检测的方法对攻击存在特定假设，不具有普适性；基于DP的方法会影响良性更新的性能 |
| 方法 | 将异常模型更新的检测和权重的调谐裁剪相结合，开发了一种针对后门的弹性防御，最小化聚合模型的后门移除所需的噪声量，而不受现有方法的限制（窄攻击者模型、数据分布假设）和缺点（良性性能损失）的影响 |
| 创新 | 设置噪声边界 |
阅读记录
一、攻击模型
- 进行后门攻击
- 攻击者可以控制其训练数据、过程和参数
- 攻击者无法控制聚合器执行的任何进程，也无法控制诚实的客户端
二、FLAME
- 防御目标
（1）有效性：为了防止对手实现其攻击目标，必须消除后门模型更新的影响，以便攻击性门控全局模型不会表现出后门行为
（2）性能：必须保持全球模型的良好性能，以保持其效用
（3）独立于数据分布和攻击策略：防御方法必须适用于通用对手模型，即不要求事先了解后门攻击方法，或对本地客户端的特定数据分布进行假设 - 防御思路
- 在动态场景中过滤出具有大角度偏差的后门模型：动态场景是指注入后门的数量未知，并且可能在训练回合之间有所不同
- 限制scaled-up backdoors的影响：选择适当的裁剪边界，而不凭经验评估其对训练数据集的影响。如果应用的裁剪边界太大，对手可以通过将其权重缩放到裁剪边界来增强其模型，从而最大化对聚合的全局模型G的后门影响，导致全局模型的性能恶化
- 为后门消除选择合适的噪声水平：噪声水平直接影响防御的有效性和模型的良性性能。如果它太低，聚合模型可能会在模型加噪后保留后门行为，使防御无效，而过多的噪声会降低聚合模型的效用
- 总框架
- 动态模型过滤
（1）目标：与试图将中毒模型放置在一个集群中的现有方法不同，本文的方法将每个中毒模型单独视为异常值，因此它可以处理多个同时出现的后门，从而解决挑战C1
（2）不同聚类方法对比
（3）方法：使用成对余弦距离来测量所有模型更新之间的角度差，并应用HDBSCAN聚类算法，将良性集群大小为至少为客户端数量的50%
①即使对手放大模型更新，更新向量之间的角度也不会改变，余弦距离也不会受到影响
②HDBSCAN算法基于余弦距离分布的密度对模型进行聚类，并动态确定所需的聚类数量，如果模型不适合任何集群，HDBSCAN会将其标记为异常值。 - 动态裁剪
（1）服务器将所有模型更新的L2范数的中值作为裁剪上限。这里需要考虑可疑模型，以确保即使良性模型被过滤，计算的中值St仍然基于良性值确定
（2）计算完终止后，只使用被接受的模型进行聚合
（3）由于客户端报告的数据集大小是不可信的，因此对所有客户的贡献进行平均而不加权 - 适应性噪声
基于局部模型之间的差异（距离）估计灵敏度来确定噪声量，这可以在不访问训练数据的情况下进行
4.伪代码
总结
本文使用了动态的聚类方法、动态设置梯度裁剪上限、动态设置噪声范围，从而实现了性能与安全性的权衡。但是阅读论文过程中，存在以下疑问：
- 聚类过程中，若所有聚类均小于客户端数量的一半，该如何处理。
- 本文假设恶意客户端数量小于客户端总数的一半
READ
READ-2318 FLAME Taming Backdoors in Federated Learning
| 论文名称 | FLAME Taming Backdoors in Federated Learning |
|---|---|
| 作者 | Thien Duc Nguyen, Phillip Rieger, Huili Chen |
| 来源 | USENIX Security 2022 |
| 领域 | Machine Learning - Federal learning - Security - Defence - Backdoor attack |
| 问题 | 已有的防御后门攻击的方法存在以下问题：基于检测的方法对攻击存在特定假设，不具有普适性；基于DP的方法会影响良性更新的性能 |
| 方法 | 将异常模型更新的检测和权重的调谐裁剪相结合，开发了一种针对后门的弹性防御，最小化聚合模型的后门移除所需的噪声量，而不受现有方法的限制（窄攻击者模型、数据分布假设）和缺点（良性性能损失）的影响 |
| 创新 | 设置噪声边界 |
阅读记录
一、攻击模型
- 进行后门攻击
- 攻击者可以控制其训练数据、过程和参数
- 攻击者无法控制聚合器执行的任何进程，也无法控制诚实的客户端
二、FLAME
- 防御目标
（1）有效性：为了防止对手实现其攻击目标，必须消除后门模型更新的影响，以便攻击性门控全局模型不会表现出后门行为
（2）性能：必须保持全球模型的良好性能，以保持其效用
（3）独立于数据分布和攻击策略：防御方法必须适用于通用对手模型，即不要求事先了解后门攻击方法，或对本地客户端的特定数据分布进行假设 - 防御思路
- 在动态场景中过滤出具有大角度偏差的后门模型：动态场景是指注入后门的数量未知，并且可能在训练回合之间有所不同
- 限制scaled-up backdoors的影响：选择适当的裁剪边界，而不凭经验评估其对训练数据集的影响。如果应用的裁剪边界太大，对手可以通过将其权重缩放到裁剪边界来增强其模型，从而最大化对聚合的全局模型G的后门影响，导致全局模型的性能恶化
- 为后门消除选择合适的噪声水平：噪声水平直接影响防御的有效性和模型的良性性能。如果它太低，聚合模型可能会在模型加噪后保留后门行为，使防御无效，而过多的噪声会降低聚合模型的效用
- 总框架
- 动态模型过滤
（1）目标：与试图将中毒模型放置在一个集群中的现有方法不同，本文的方法将每个中毒模型单独视为异常值，因此它可以处理多个同时出现的后门，从而解决挑战C1
（2）不同聚类方法对比
（3）方法：使用成对余弦距离来测量所有模型更新之间的角度差，并应用HDBSCAN聚类算法，将良性集群大小为至少为客户端数量的50%
①即使对手放大模型更新，更新向量之间的角度也不会改变，余弦距离也不会受到影响
②HDBSCAN算法基于余弦距离分布的密度对模型进行聚类，并动态确定所需的聚类数量，如果模型不适合任何集群，HDBSCAN会将其标记为异常值。 - 动态裁剪
（1）服务器将所有模型更新的L2范数的中值作为裁剪上限。这里需要考虑可疑模型，以确保即使良性模型被过滤，计算的中值St仍然基于良性值确定
（2）计算完终止后，只使用被接受的模型进行聚合
（3）由于客户端报告的数据集大小是不可信的，因此对所有客户的贡献进行平均而不加权 - 适应性噪声
基于局部模型之间的差异（距离）估计灵敏度来确定噪声量，这可以在不访问训练数据的情况下进行
4.伪代码
总结
本文使用了动态的聚类方法、动态设置梯度裁剪上限、动态设置噪声范围，从而实现了性能与安全性的权衡。但是阅读论文过程中，存在以下疑问：
- 聚类过程中，若所有聚类均小于客户端数量的一半，该如何处理。
- 本文假设恶意客户端数量小于客户端总数的一半