这篇文档属于类型a,是一篇关于联邦学习(Federated Learning, FL)与差分隐私(Differential Privacy, DP)结合研究的原创性学术论文。以下是详细的学术报告:
本文由Kang Wei(南京理工大学)、Jun Li(南京理工大学/俄罗斯托木斯克理工大学)、Ming Ding(澳大利亚CSIRO Data61)、Chuan Ma(南京理工大学)、Howard H. Yang(新加坡科技设计大学)、Farhad Farokhi(墨尔本大学)、Shi Jin(东南大学)、Tony Q. S. Quek(新加坡科技设计大学)和H. Vincent Poor(普林斯顿大学)合作完成,发表于IEEE Transactions on Information Forensics and Security期刊2020年第15卷。研究得到中国国家重点研发计划、国家自然科学基金及美国国家科学基金会等项目的支持。
研究领域:本文属于分布式机器学习与隐私安全的交叉领域,聚焦于联邦学习(FL)在保护用户数据隐私时的性能优化问题。
研究动机:尽管FL通过本地训练避免原始数据共享,但上传的模型参数(如神经网络权重)仍可能被逆向分析泄露隐私。现有差分隐私(DP)方法多关注中心化场景,而FL的分布式特性使得隐私保护与模型收敛性能的平衡成为挑战。
研究目标:提出一种新型框架NBAFL(Noising Before Aggregation FL),通过在客户端上传参数前添加噪声,结合理论分析收敛性能与隐私保护的权衡关系,并设计最优的客户端调度策略。
n_i ∼ N(0, σ_u^2)
,其中σ_u根据DP要求动态调整。n_d
以满足下行链路的DP要求(定理1)。n
及隐私预算ε成反比。t
和客户端数k
动态调整。n
的积极作用:固定ε下,增加n
可降低噪声方差,提升收敛性。t
的存在性:过多聚合会因噪声累积降低性能。n
个客户端中随机选择k
个参与聚合,证明存在最优k
值平衡隐私与收敛性。n
(50~100)、t
(1~25)和k
(1~n)下的训练损失。n=100
比n=50
的收敛速度更快;固定ε下,k=20
优于全客户端参与。n=100
时,损失函数值比n=50
降低约15%(图6),因噪声方差与n
成反比。t=15
达到最低损失,超过后噪声累积导致性能下降(图7)。k=20
的损失比全客户端参与低10%(图10),显示部分参与可优化资源效率。科学价值:
- 首次提出FL中客户端侧加噪的DP框架(NBAFL),并建立理论收敛界,填补了分布式学习隐私保护的理论空白。
- 揭示了隐私预算(ε)、客户端规模(n
)、聚合次数(t
)与调度策略(k
)的多维交互规律。
应用价值:
- 为医疗、物联网等隐私敏感场景的FL部署提供参数设计指南(如最优k
选择)。
- 开源代码与理论框架可扩展至其他分布式学习算法。
k
-客户端调度策略,证明“部分参与”在特定条件下优于全客户端聚合。k
调整算法)。全文通过理论推导与实验验证的结合,为隐私保护的联邦学习提供了系统化设计范式,兼具学术严谨性与工程指导意义。