本研究由以色列本·古里安大学（Ben-Gurion University of the Negev）的Liat Antwarg、Ronnie Mindlin Miller、Bracha Shapira和Lior Rokach共同完成，以预印本形式于2020年7月2日提交至《Journal of Artificial Intelligence》。
科学领域与背景
该研究属于可解释人工智能（XAI, Explainable Artificial Intelligence）与异常检测的交叉领域。自动编码器（Autoencoder）作为无监督深度学习的代表，虽能高效识别异常，但其决策过程常被视为“黑箱”，导致领域专家难以信任其结果。传统异常检测算法仅输出异常分数，缺乏对异常成因的解释，而SHAP（Shapley Additive Explanations）框架虽在监督学习中表现优异，但尚未应用于无监督模型（如自动编码器）的异常解释。
研究目标
提出一种基于SHAP的模型不可知（model-agnostic）方法，解释自动编码器检测到的异常。核心是通过关联高重建误差特征与影响误差的关键特征，为专家提供直观的解释，增强模型可信度与实用性。
1. 方法设计
- 输入与输出：输入为异常实例(x)及其重建输出(x’)，自动编码器模型(f)计算重建误差(l(x,x’)=\sum_{i=1}^n(x_i-x’_i)^2)。
- 关键步骤：
- 提取高误差特征：按误差排序选取前(m)个特征（topmfeatures），其误差总和需覆盖总误差的预设比例（如80%）。
- SHAP值计算：对每个高误差特征(x’_i)，使用Kernel SHAP（基于博弈论Shapley值）计算其他特征对(x’_i)的贡献度（算法1）。
- 异常贡献分类：将SHAP值分为两类——贡献特征（推动预测值远离真实值）与抵消特征（推动预测值接近真实值）（算法3）。
2. 实验验证
- 数据集：
- 人工数据集：生成100万条含6特征的记录，其中5,000条通过破坏线性组合（如(x_5=x_1+x_2)）构造异常。
- 真实数据：包括汽车制造商保修索赔数据（15,000条，1,000维）、KDD Cup 1999网络入侵数据（97,278正常/2,203攻击）及信用卡欺诈数据（284,807条，492欺诈）。
- 评估方法：
- 用户研究：领域专家对114个保修索赔异常的解释进行反馈，验证实用性。
- 理论验证：构建“完美自动编码器”，已知特征间线性关系，检验解释方法的正确性。
- 鲁棒性测试：通过添加噪声特征，对比SHAP与LIME（Local Interpretable Model-agnostic Explanations）的稳定性。
- 异常分数降低实验：通过修改解释特征的值（如替换为均值或预测值），评估重建误差的下降幅度。
1. 用户研究
- 85%的案例中，前1-3个解释特征足以说明异常原因。专家反馈显示，可视化解释（如红色表示贡献特征，蓝色表示抵消特征）显著提升复杂案例的理解效率。
2. 理论验证
- 在人工数据集中，SHAP正确识别了所有异常的解释特征（如(x_5)异常时，SHAP值高特征为(x_1)和(x_2)），仅7例因背景集（background set）过小出现偏差，增大背景集后解决。
3. 鲁棒性比较
- SHAP的MRR（Mean Reciprocal Rank）显著低于LIME（(p<0.001)），表明噪声特征在SHAP解释中排名更低，解释更稳定（图6-7）。
4. 异常分数降低
- 修改SHAP解释的特征值后，重建误差平均降低幅度大于LIME和随机方法（表5）。例如，信用卡数据中SHAP的MSE（均方误差）从0.0252降至0.0173，优于LIME的0.0189。
科学价值
- 首次将SHAP应用于无监督自动编码器的异常解释，填补了该领域空白。
- 提出“贡献-抵消”特征分类框架，增强了异常解释的对比性（contrastive explanation），符合人类认知习惯。
应用价值
- 在汽车保修欺诈检测中，帮助专家快速定位异常原因，减少人工筛查成本。
- 方法具有普适性，可扩展至医疗、网络安全等需高可信度异常检测的领域。
explanatoryfeatureset）的构建标准（如误差覆盖比例、SHAP值筛选方法），为后续研究提供了评估框架。（全文约2000字）