分享自:

通过进化多目标集成学习减轻不公平性

期刊:ieee transactions on evolutionary computationDOI:10.1109/tevc.2022.3209544

这篇文档属于类型a——报告了一项原创性研究,以下是根据要求生成的学术报告:


IEEE Transactions on Evolutionary Computation 于2023年8月刊登了南方科技大学张清泉(Qingquan Zhang)、刘佳琳(Jialin Liu,通讯作者)等学者合作的研究论文《Mitigating Unfairness via Evolutionary Multiobjective Ensemble Learning》。该研究由华为可信理论研究中心、英国伯明翰大学等机构共同完成,获多个基金支持(如广东省重点实验室、国家自然科学基金等)。

学术背景

研究领域为机器学习公平性(fairness in machine learning)多目标进化计算(multiobjective evolutionary computation)的结合。该研究的核心背景是:现有机器学习模型常因数据偏见导致预测结果不公,而不同公平性度量(fairness measures)之间存在冲突,例如优化群体公平性(group fairness)可能牺牲个体公平性(individual fairness)。传统方法(如加权求和)难以平衡多目标间的矛盾。为此,作者提出两个关键问题:
1. 如何同时优化模型准确性与多公平性指标?
2. 如何通过集成学习(ensemble learning)自动平衡指标?

研究方法与流程

1. 多目标进化学习框架

流程设计
- 模型初始化:使用人工神经网络(ANN)作为基模型,权重编码为实数向量个体。
- 目标函数:包含交叉熵损失(模型精度)、个体不公平性(fi)、群体不公平性(fg)及8种代表性公平性指标(fair1–fair8,涵盖统计奇偶性、校准度等)。
- 优化算法:基于多目标进化算法(MOEA),提出改进策略:
- 探索阶段:针对每个目标独立训练模型,增强多样性。
- 开发阶段:通过交叉(权重混合)和突变(高斯扰动)生成新模型,并采用随机排序算法(SRA)进行选择。
- 终止条件:最大迭代200代,通过验证集评估模型性能。

创新方法
- 混合选择策略:结合极端模型训练与自适应权重更新,解决目标冲突。
- 部分训练(partial training):每次迭代仅部分更新模型参数,提升效率。

2. 集成学习框架

基模型从进化得到的非支配解集中选取,提出4种集成策略:
- ensbest:选择最优模型。
- ensall:纳入所有非支配模型。
- ensknee:基于拐点选择模型子集。
- ensdiv:基于多样性选择模型子集。

实验设计

  • 数据集:15个公开数据集(如COMPAS、Adult),涵盖教育、金融等领域,按6:2:2划分训练/验证/测试集。
  • 对比方法:包括加权求和法(multi-fr)和传统集成方法(如kcr、lrklscr)。
  • 评估指标
    • 超体积(HV)衡量多目标优化性能。
    • 几何均值(G-mean)综合评估精度与公平性。

主要结果

1. 三目标优化(精度、fi、fg)

  • 收敛性:在8个数据集上,HV值随迭代显著提升,证明算法能同步优化冲突目标(图2)。
  • 多样性:CPF指标表明,算法生成的模型集在5/8数据集上优于单目标或双目标优化(表VI)。例如,在COMPAS数据中,模型精度与fi、fg的权衡关系清晰可见(图3)。
  • 对比优势:相比multi-fr,算法在5/8数据集上能生成更优解,其余3个数据集表现相当(表V)。

2. 九目标优化(精度+fair1–fair8)

  • 泛化性:优化fair1–fair8后,未参与训练的fair9–fair16指标亦显著改善(图5),表明模型具有鲁棒性。
  • 集成效果:ensbest在11/15数据集上G-mean最优(表IX),且在11项公平性指标中排名第一(图7),如fair4(代表群体平等)提升40%以上。

结论与价值

  1. 科学价值
    • 首次将多目标进化学习系统应用于机器学习公平性领域,提出冲突目标动态平衡的理论框架。
    • 证实进化算法能生成多样化解集,为决策者提供灵活权衡选择。
  2. 应用价值
    • 在刑事风险评估(COMPAS)、信贷审批(German)等场景中,可减少因敏感属性(种族、性别)导致的歧视。
    • 开源框架支持扩展到更多公平性指标(如因果公平性)。

研究亮点

  • 方法创新:结合MOEA与集成学习,突破传统加权求和的局限性。
  • 实证全面性:覆盖16种公平性指标和15个数据集,结论具有普适性。
  • 可扩展性:框架支持非可微目标(如混淆矩阵指标),未来可适配深度模型。

其他价值

作者指出数据分布不均衡(如Bank数据集)可能影响性能,未来将通过并行计算提升大规模模型效率。研究代码已公开,便于复现与改进。


此报告完整呈现了研究的学术逻辑与创新点,数据支撑充分,符合学术传播的严谨性要求。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com