类型a

主要作者与研究机构及发表信息
该研究的主要作者包括马玉玺（Yuxi Ma）、王家成（Jiacheng Wang）、杨静（Jing Yang）和王连生（Liansheng Wang），他们分别隶属于厦门大学国家健康与医学数据科学研究院以及厦门大学信息学院计算机科学系。这篇论文题为《Model-Heterogeneous Semi-Supervised Federated Learning for Medical Image Segmentation》，于2024年5月发表在《IEEE Transactions on Medical Imaging》期刊上。

学术背景
医学图像分割（Medical Image Segmentation）是临床诊断中的关键技术，能够帮助医生识别和分析疾病状态。然而，这一任务面临诸多挑战，如敏感数据的隐私保护、高昂的标注成本等。当前的研究多集中于个性化协同训练系统的设计，但忽略了获取分割标注耗时且复杂的问题。如何在降低标注成本的同时保持分割性能，并确保本地模型的个性化需求，成为亟待解决的方向。为此，本研究提出了一种新颖的模型异构半监督联邦学习框架（HSSF）。该框架结合了联邦学习（Federated Learning, FL）和半监督学习（Semi-Supervised Learning, SSL）的优势，旨在通过知识蒸馏（Knowledge Distillation）和伪标签生成（Pseudo-Label Generation）机制实现高效的知识传递和标注负担的减轻。

研究方法与工作流程
本研究主要包括以下四个部分：模型异构联邦学习、规则凝练与融合、本地半监督学习、实验验证。

1. 模型异构联邦学习
   该框架首先将知识传递分为两个阶段：规则凝练（Regularity Condensation）和规则融合（Regularity Fusion）。在规则凝练阶段，服务器从各站点提取最优规则并广播；在规则融合阶段，各站点根据自身需求选择性融合这些规则。具体而言，服务器通过公共数据集（Public Dataset, DP）作为载体，计算各站点预测结果的评分（Grade），筛选出最接近真实情况的规则进行更新。公式如下：
   [ \text{grade}((x^p_i, y^p_i), \theta_k) = \text{mean}(f(x^p_i, \theta_k) \odot y^p_i) ]
   其中，(\odot) 表示“XNOR”操作，(y^pi) 是分割掩码的真实值。服务器通过KL散度损失（KL Loss）更新规则：
   [ L{KL}(D_p, \theta_p, \thetak) = \sum{i=1}^{n_p} f(x^p_i, \theta_k) \log \frac{f(x^p_i, \theta_k)}{f(x^p_i, \theta_p)} \cdot \text{gc} ]

2. 规则融合
   在规则融合阶段，服务器将更新后的规则广播至各站点。各站点通过计算分布差异（Distribution Difference）选择性融合规则。此过程利用特征扰动（Feature Perturbation）技术增强模型的一致性。

3. 本地半监督学习
   HSSF框架包含两个模块：自评估模块（Self-Assessment, SA）和可靠伪标签生成模块（Reliable Pseudo-Label Generation, RPG）。SA模块通过中间激活和预测逻辑生成自评估置信度，RPG模块基于SA置信度校正伪标签。具体而言，对于未标注数据 (x^k_i \in D_k)，应用弱扰动和强扰动生成 (\dot{x}^k_i) 和 (\ddot{x}^ki)，并通过以下公式计算损失：
   [ L{MSE}(\hat{p}^k_i, \dot{p}^k_i) = (\hat{p}^k_i - \dot{p}^ki)^2 ]
   [ L{PSEG}(\dot{p}^k_i, \ddot{p}^k_i, pl^k_i, \gamma^ki) = [L{BCE}(\dot{p}^k_i, pl^ki) + L{BCE}(\ddot{p}^k_i, pl^k_i)] \cdot (\gamma^k_i > \zeta) ]

4. 实验验证
   研究选取了皮肤病变分割（Skin Lesion Segmentation）和息肉分割（Polyp Segmentation）两种场景进行实验。数据集包括ISIC-2018（皮肤病变）和五个公开的息肉分割数据集（Kvasir、CVC-ClinicDB、CVC-ColonDB、CVC-300、EndoTectetis）。实验对比了多种现有方法（如FedMD、KT-PFL、FedDistill等）以及同质化联邦学习方法（如FedAvg）。

主要结果
1. 规则凝练与融合的效果
实验表明，规则凝练和融合显著提高了模型的学习质量。例如，在息肉分割任务中，Dice系数（Dice Coefficient）提升了约10%，HD95指标（95th Percentile of Hausdorff Distance）也有显著改善。

1. SA与RPG模块的作用
   SA模块通过自评估置信度提高了伪标签的可靠性，而RPG模块进一步校正了伪标签的准确性。实验结果显示，当未标注阈值 (\varepsilon) 设置为0.3、置信度阈值 (\zeta) 设置为0.75时，模型性能达到最优。

2. 与其他方法的对比
   在非独立同分布（Non-IID）条件下，HSSF框架的表现优于其他模型异构联邦学习方法。例如，在CVC-ClinicDB和EndoTectetis数据集上，HSSF的Dice系数比FedMD高出约3%。此外，在同质化条件下，HSSF同样表现出色，证明了其通用性。

3. 资源利用率分析
   HSSF框架显著降低了内存消耗，传输文件大小仅为ResNet18参数文件的0.09倍。尽管全局更新时间较长，但本地更新时间较短，总体效率优于FedAvg。

结论与意义
本研究提出的HSSF框架在医学图像分割任务中展现了卓越的性能，特别是在减少标注负担和提高模型个性化方面。其科学价值在于创新性地结合了联邦学习和半监督学习，解决了模型异构性和标注稀缺性问题。应用价值体现在医疗领域，可有效保护患者隐私并降低标注成本。

研究亮点
1. 提出了规则凝练与融合机制，实现了自主选择性知识传递。
2. 设计了SA和RPG模块，显著提高了伪标签的可靠性。
3. 在Non-IID和IID条件下均表现出色，具有广泛的适用性。
4. 资源利用率高，特别适合大规模联邦学习场景。

其他有价值内容
研究还探讨了不同超参数（如(\varepsilon)、(\mu)、(\zeta)）对模型性能的影响，并提供了详细的消融实验结果。此外，研究团队开源了代码，便于后续研究者复现和改进。