原文标题：Lurking in the shadows: Unveiling Stealthy Backdoor Attacks against Personalized Federated Learning
原文作者：吕晓婷，韩宇飞，王伟，刘敬楷，祝咏升，许光全，刘吉强，张响亮
发表会议：USENIX Security 2024
主题类型：个性化联邦学习中的后门攻击

本次分享的论文“Lurking in the shadows: Unveiling Stealthy Backdoor Attacks against Personalized Federated Learning”，由北京交通大学王伟教授团队作为第一单位和通信作者单位，INRIA，中国铁道科学研究院、天津大学和圣母大学为合作单位共同完成。该研究系统化的探讨了个性化联邦学习中的后门威胁与防御方法。

1. 研究背景

联邦学习（Federated Learning, FL）是一种先进的协作式机器学习技术，它允许多个客户端与中央服务器协同工作，共同训练一个全局模型，同时确保他们无需共享各自的私有数据。尽管这种方法在理论上能够实现数据的共享学习，但客户端数据集的非独立同分布特性却给这种方法的适用性带来了不小的挑战。这种分布差异可能会影响全局模型对不同客户端数据的泛化能力，限制了模型在特定客户端数据上的适应性。

为了解决这一难题，个性化联邦学习 (Personalized Federated Learning, PFL) 应运而生，它允许每个客户端定制自己的本地模型，以更好地适应其独特的数据分布特性。PFL不仅提高了模型在各个客户端上的预测性能，还有助于更好地捕捉和利用数据的本地特性，实现更加精准的个性化决策。

尽管个性化联邦学习在提升模型性能方面展现出巨大潜力，但其在安全性方面的考量也不容忽视。目前，虽然已有研究对传统联邦学习中的后门攻击进行了广泛研究，但针对个性化联邦学习中的后门脆弱性的研究非常缺乏。后门攻击者可能会利用协同训练的过程向正常客户端的个性化本地模型中植入隐蔽的触发器来操纵其模型的行为，从而对系统的安全性和用户的信任造成威胁。因此，深入研究个性化联邦学习中的后门攻击脆弱性，对于构建一个既高效又安全的个性化学习系统至关重要。

本文致力于填补个性化联邦学习系统中后门攻击研究的不足，系统性地探讨了后门攻击在主流个性化联邦学习技术中的可行性，其中包括全模型共享和部分模型共享在内的先进个性化联邦学习方法。研究发现，传统联邦学习中的后门攻击在个性化联邦学习中面临以下三个主要瓶颈：

1. 全模型共享PFL方法中后门效应的灾难性遗忘：在全模型共享的PFL方法中，客户端利用本地正常数据对全局模型进行微调，这会削弱后门的投毒效果。这种现象与机器学习中的灾难性遗忘类似，即本地模型可能会丧失对触发器与目标标签之间映射的记忆，从而降低后门攻击的有效性。
2. 部分模型共享PFL方法中后门效应的不确定性：在部分模型共享的PFL方法中，仅模型的全局共享层在服务器端进行聚合，而客户端则使用其本地正常数据定制其本地模型的私有本地层。攻击者仅能在全局共享层中注入后门，但后门效果是否能在包含后门全局共享层和私有本地层的个性化本地模型中持续存在，尚不明确。
3. PFL系统的后门攻击的强大防御力：通过实证观察，研究发现在部署了服务器端和客户端防御机制的PFL系统中的个性化本地模型对后门攻击具有显著的防御力。中央服务器可以采用鲁棒聚合算法来中和恶意客户端引入的投毒效果，而本地客户端则可以应用后门缓解方法来清除潜在的后门触发器。

尽管攻击者针对个性化联邦学习系统发动后门攻击面临着这些困难，本文的研究结果表明，使用服务器端和客户端防御方法加固的个性化联邦学习系统可能提供了虚假的安全感。攻击者仍然可以针对个性化联邦系统进行后门注入。

基于此，本文提出了一种适用于个性化联邦学习系统的隐秘而有效的后门攻击策略，名为PFedBA。PFedBA 巧妙地通过优化触发器生成过程来将后门学习任务与主学习任务对齐。全面的实验验证了PFedBA在无缝嵌入触发器到个性化本地模型中的有效性。PFedBA在10种最先进的PFL算法中展现出卓越的攻击性能，成功突破了现有的部署在服务器端或客户端的6种防御机制。本研究揭示了PFL系统面临的隐匿但强大的后门威胁，促使学术界加强对抗新兴后门挑战的防御措施。

2. 研究方法

PFedBA 方法的精髓在于巧妙地协调后门任务与主学习任务之间的对齐关系。其核心策略在于确保后门任务的梯度与主学习任务的梯度保持一致性，同时将两者的分类损失调整至相同水平。经由这种方法能够获得一个与正常数据训练得到的无后门模型在分类边界上极为相似的后门模型。通过维持这种边界的一致性，后门在模型的个性化过程中得以持续存在，且能有效规避本地客户端和中央服务器所部署的防御机制，从而实现隐蔽性和持久性的目标。

具体来说，本文将针对个性化联邦学习的后门攻击方法制定为一个联合优化问题，在全局训练阶段同时优化后门触发器和后门模型参数，其目标函数如下公式所示。在第 t 轮攻击中，攻击者通过被选中参与聚合的恶意攻击者进行联合优化并发动后门攻击：

2.1 基于对齐的后门触发器生成

后门攻击通常涉及在训练过程中使用含有特定触发器的数据，其目标是使模型将带有触发器的输入与特定的攻击者期望输出关联起来。然而，在个性化联邦学习的个性化阶段，客户端基于共享的全局模型，并使用正常的训练数据进一步微调。此时，本地个性化模型中嵌入的后门效果可能会受到削弱。随着本地模型微调的持续，后门效果会逐渐出现灾难性遗忘现象。此外，不当的触发器注入可能引发模型出现显著的恶意偏差，使得在全局聚合阶段，后门本地模型容易被服务器端的防御机制检测出来。同样，在个性化阶段，正常客户端也可能部署后门抑制策略来识别和减轻本地模型中的后门触发器。

为了克服这些挑战，PFedBA 方法将触发器作为一个优化变量纳入考虑。该方法提出的触发器生成模块，如下公式所示，旨在实现主学习任务和后门学习任务之间的梯度对齐和损失对齐，从而在不牺牲模型性能的前提下，提高后门的隐蔽性和持久性。这种基于对齐的触发器优化方法不仅减少了产生恶意模型偏差的风险，而且增强了后门在个性化过程中的持久性，使其更难以被客户端或服务器端的防御机制所识别。

2.2 后门模型训练

在PFedBA攻击中，攻击者通过利用恶意客户端所掌握的训练数据对触发器进行精心优化。这一优化触发器随后被分发给所有参与模型聚合的恶意客户端。这些恶意客户端将触发器嵌入到他们各自本地的训练数据集中，以此作为训练的基础。随后，这些恶意客户端使用被植入触发器的后门训练数据和未被篡改的正常训练数据，共同训练本地模型。最终，这些嵌入后门的本地模型更新被发送至中央服务器，参与全局模型的聚合更新。

3. 实验效果

本文通过广泛的实证研究，深入探讨了 PFedBA 攻击方法在个性化联邦学习系统中的应用效果。评估涵盖了基于4种广泛使用的大规模数据集的10种不同PFL系统，其中包括8 种全模型共享方法和 2 种部分模型共享方法。评估结果表明，PFedBA成功地在这些个性化联邦学习系统中注入了后门触发器。为了全面评估PFedBA的性能，本文还比较了五种不同的后门攻击方法，包括Sybil attack、模型替换攻击、PGD攻击、Neurotoxin和CerP。为了衡量对防御策略的有效性，本文还考虑了 6 种先进的防御技术，涵盖 4 种服务器端防御技术和 2 种客户端的后门缓解技术。

实验结果表明，在保持主学习任务准确性的前提下，PFedBA 在所有测试场景中均实现了高攻击成功率，成功地在个性化本地模型中注入后门。具体来说，如表1所示，在存在防御机制的情况下，PFedBA在Fashion-MNIST数据集上对所有个性化联邦学习方法均展现出了显著的攻击成功率。这一结果进一步证明了PFedBA在面对不同防御策略时的卓越适应性和有效性。

表 1：在有防御情况下，各种后门攻击在 Fashion-MNIST 所获得的 ACC 和 ASR.

4.总结

本文系统化研究了后门攻击对个性化联邦学习系统带来的安全威胁。研究发现，个性化联邦学习系统能够通过其个性化过程的固有特性，有效降低后门攻击的潜在危害。同时，通过在中央服务器和本地客户端部署先进的防御策略，个性化联邦学习系统能够进一步增强其对后门攻击的抵御能力。

然而，本文创新性地提出了一种名为PFedBA的后门攻击策略。该策略通过巧妙地利用主学习任务与后门任务之间的损失和梯度对齐，成功地将后门触发器注入到个性化的本地模型中，揭示了PFL系统在安全性方面的脆弱性。通过一系列精心设计的实验，PFedBA不仅展示了其在植入后门触发器方面的持久性，还证明了其能够巧妙地绕过PFL系统内部的防御机制。PFedBA的成功实施，引发了对个性化联邦学习系统安全性和完整性的进一步思考和关注。

这种对个性化联邦学习系统潜在弱点的深入分析，不仅为理解后门攻击的复杂性提供了新的视角，也为设计更为坚固的个性化联邦学习系统提供了重要的参考。随着技术的不断进步和攻击手段的不断演变，如何持续提升个性化联邦学习系统的安全性，将是一个持续且紧迫的课题。未来的研究需要不断探索新的防御机制和策略，以确保个性化联邦学习系统在面对不断变化的安全威胁时，能够保持其安全性和可靠性。

作者与团队

论文第一作者为北京交通大学信息安全团队的博士生吕晓婷，通讯作者为团队王伟教授（近期已加入西安交通大学），主要作者还包括韩宇飞，刘敬楷，祝咏升，许光全，刘吉强，张响亮。北京交通大学信息安全团队建有“区块链研究中心”和“智能交通数据安全与隐私保护技术北京市重点实验室”等平台。王伟教授主持的“基于区块链的Web3.0前沿技术”是首个Web3.0共性关键技术类国家重点研发计划项目（首席科学家）。王伟教授还主持了数据安全相关的国家自然科学基金联合基金重点项目等国家重大重点项目。团队联合编制相关的国际、国家和行业标准30余项。团队王伟教授连续入选网络空间安全领域“中国高被引学者”。近年来团队以一作和通信作者单位在 USENIX Security，CCS，KDD 等重要会议和期刊上发表论文100余篇，团队以第一作者和第一单位获 CCS 2023 杰出论文奖，团队作为第一完成人获中国自动化学会科技进步一等奖1项。研发了强隐私保护的数据聚合平台、商品溯源平台和银行业务系统。研究成果在京东达达和中国铁道科学研究院集团有限公司等大型公司及金融和政府行业得到了应用。目前王伟教授团队正在与优势单位合作，开展数据要素高效安全流通等方面的研究工作。