类型a：

由Ke Cheng、Yuheng Xia、Anxiao Song、Jiaxuan Fu、Wenjie Qu、Yulong Shen和Jiaheng Zhang共同完成的这项研究，以西电（Xidian University）和新加坡国立大学（National University of Singapore）为研究机构，于2025年发表在ACM CCS（ACM Conference on Computer and Communications Security）会议上。该研究聚焦于人工智能领域的安全与隐私问题，特别关注基于Transformer架构的大型模型（如BERT和GPT）在云推理服务中的隐私安全隐患。在现有的多方安全计算（MPC，Multi-Party Computation）方案中，大多数协议仅在「半诚实」（semi-honest）安全模型下设计，扩展至「恶意」（malicious）安全模型面临巨大挑战，尤其是非线性函数的复杂计算会显著增加开销。因此，研究团队提出了Mosformer——首个支持恶意安全的三方计算（3PC）框架，旨在高效实现BERT、GPT等大型Transformer模型的隐私保护推理任务。

学术背景与研究目标

Transformer模型（如BERT、GPT）已在自然语言处理等领域达到先进水平，但其云服务部署引发了用户数据与模型参数的隐私泄露风险。例如，ChatGPT曾因Redis-py库漏洞导致用户聊天记录和账单信息泄露。现有方案主要通过同态加密（HE）或MPC保护数据，但多数MPC协议仅适用于半诚实模型，而恶意安全模型下的计算效率低下。特别地，Transformer中的非线性函数（如GELU、Softmax）需要复杂的比较、查表和算术运算，恶意识别会进一步增加开销。例如，原有恶意安全比较协议（如Falcon）占推理总时间的50%~80%。研究团队的目标是构建一个高效支持恶意安全的3PC框架，在不降低模型精度的前提下显著减少通信和计算开销。

研究流程与方法

研究分为五个核心阶段，具体流程如下：

1. 恶意安全比较协议设计

研究团队首先提出了一种常数轮数（constant-round）的恶意安全比较协议π_drelu，基于可验证分布式点函数（VDPF，Verifiable Distributed Point Function）。该协议将带符号比较转化为无符号比较问题，再通过VDPF安全匹配等式。具体流程包括：
- 离线阶段：生成VDPF密钥并验证其正确性，预计算掩码参数和共享值。
- 在线阶段：三方协作计算输入的盲化值，利用VDPF并行比较并验证结果的MAC（消息认证码）。
该协议仅需18轮交互和24ℓ−8比特通信（ℓ=32位时），相比Falcon减少1.6轮和3.9倍通信量。

2. 非线函数安全协议开发

基于π_drelu和查表协议π_lut，团队构建了高效的非线性函数协议，包括：
- 域缩减技术：针对Softmax的倒数运算，将输入缩放至固定区间[1/b,1)，使查表大小从2^32压缩至2^12（精度f=12比特），显著降低开销。
- 精确函数语义保留：通过VDPF实现安全的查表检索，避免多项式近似导致的精度损失（如GELU的二次近似误差>5%）。

3. 动态模数转换优化

研究提出根据计算层特性动态调整环大小（如线性层用Z_2^64，非线性层用Z_2^16），结合安全协议downcast/upcast转换数据表示，减少计算负载。实验表明，该技术降低30%运行时和25%通信量。

4. 端到端框架集成

将上述协议集成至Mosformer框架，包含恶意安全的线性层（基于Falcon）和非线性层（GELU、Softmax、LayerNorm）协议模块。通过MAC验证和冗余计算确保恶意行为可检测。

5. 实验验证

在Transformer Block、BERT和GPT-2上评测显示：
- 效率：相比现有恶意安全方案（PrivFormer、Falcon），Mosformer提速3.4~5.3倍，通信量减少1.8~4.3倍。
- 精度：与半诚实方案（BumbleBee、Shaft）相比，在线推理时间减少1.2~9倍，模型精度损失%。

核心结果与逻辑关联

1. π_drelu协议的高效性：实验数据表明，该协议在10^6次比较中仅需1.992秒（局域网）和4.949秒（广域网），通信效率比Falcon提升60%。这一结果为后续非线性函数协议奠定基础。
   
2. 非线函数精度保障：Softmax的倒数运算通过域缩减技术将误差控制在1e-6以内，避免了PrivFormer因ReLU近似导致的微调需求。
   
3. 动态模数的有效性：在BERT推理中，模数转换使GELU层的计算时间减少47%，印证了操作感知设计的必要性。
   

结论与价值

Mosformer首次实现了恶意安全下的大型Transformer高效推理，其科学价值体现在：
1. 协议创新：VDPF支持的常数轮比较和动态域缩减查表技术，为恶意安全MPC提供新思路。
2. 工程贡献：开源框架兼容现有模型（如GPT-2），无需微调或架构修改。
应用层面，该研究为医疗、金融等敏感领域的AI服务部署提供了隐私保护解决方案。

研究亮点

• 恶意安全与效率平衡：相比半诚实方案，Mosformer在更强安全保证下达到可比性能。
  
• 协议通用性：π_drelu和π_lut可扩展至CNN（如ResNet-50），实验显示其比Falcon提速5.5倍。
  
• 跨模型支持：首次覆盖BERT和GPT全规模模型，解决了PrivFormer仅支持Vanilla Transformer的局限性。
  

其他价值

研究团队公开了代码仓库（GitHub/xidiannss/mosformer），包含协议实现和实验复现指南，为进一步推动隐私保护AI社区发展提供了基础设施。