机器学习预测器可信度评估的共识声明

2025-05-04 Sun
一、背景介绍：医学领域中的机器学习与可信度挑战近年来，随着人工智能（Artificial Intelligence, AI）和机器学习（Machine Learning, ML）技术的飞速发展，医疗健康领域发生了巨大变革。尤其是在体外仿真医学（in silico medicine）中，机器学习预测器已成为估算人体生理和病理中某些难以直接测量指标的重要工具，如疾病风险评估、治疗反应预测等。然而，随着机器学习越来越多地直接影响临床决策，对其预测结果的可信度（credibility）提出了前所未有的高标准。换言之，如何确保机器学习模型在医学实际应用中既准确又可靠，成为学界和产业界急需解决的核心科学问题。
与传统基于生物物理原理（biophysical models，亦称“第一性原理模型”）的预测器不同，机器学习预测器依赖于数据驱动（data-driven），其内部机制较为“黑箱化”，并深受训练数据的质量和代表性影响，可能隐藏着偏差（bias）、过拟合（overfitting）等问题。此外，机器学习模型往往通过检测数据中的统计相关性而非因果关系（causal knowledge）进行预测，这进一步增加了模型外推至新场景下的风险。如何系统、有依据地对这些ML预测器进行可信度评估，进而获得监管机构（如FDA）和临床应用的认可，迫切需要一个跨学科、专业化的理论和方法学框架。
二、论文来源及作者介绍本篇论文题为“Consensus statement on the credibility assessment of machine learning predictors”，以“position article”的形式发表在权威期刊《Briefings in Bioinformatics》（2025年第26卷第2期，bbaf100）。论文由Alessandra Aldieri、Thiranja Prasad Babarenda Gamage、Antonino Amedeo La Mattina、Axel Loewe、Francesco Pappalardo和Marco Viceconti等七位深耕于仿真医学、数据科学、临床实践和监管科学等领域的学者合著，分别来自意大利都灵理工大学、奥克兰大学生物工程研究所、上海复旦大学华山医院、德国卡尔斯鲁厄理工学院、意大利卡塔尼亚大学等知名机构。这份共识文件代表了全球体外仿真医学社区（in silico world community of practice）中众多专家的意见，参与共识制定的专家群体逾35人。该文旨在为ML预测器的可信度评估建立理论与操作标准，为学界、开发者与监管方提供标准化的道路指引。
三、论文内容和主要观点详解本文并非单一原始实验研究，而是领域专家针对机器学习预测模型的可信度评估问题，经过系统讨论并形成的十二条理论和操作共识，是面向整个领域的话语体系搭建和方法论革新。以下对其主要内容和理论观点作梳理和深度解读。
1. 研究对象与概念系统的澄清论文首先明确了核心概念体系。所谓系统对象（system of interest, SI），指的是具有空间和时间变化且复杂交互关系的研究实体（如人体）。其中，感兴趣量（quantity of interest, QI）通常难以直接测量，需要通过已有易测量相关量（collectively为ω）推断。
论文采纳了数据-信息-知识-智慧（DIKW）层级模型，强调：
- “数据”（data）：系统观测下获得的原始记录值，包括定量和分类数据。
- “信息”（information）：数据通过标注元数据（如“何人何时何地”等）获得语境后成为信息。
- “知识”（knowledge）：信息之间建立起可用于预测新结果的因果假设。
- “智慧”（wisdom）：经多次证伪检验仍被认为可靠，可作为决策依据的知识。
这一定义体系为之后可信度框架的建立提供坚实的逻辑基础。
2. 明确机器学习模型与生物物理模型的因果知识差异论文强调，预测QI的因果知识有“显性”（explicit）与“隐性”（implicit）两种：
- 显性因果知识指建立在物理、化学、生命科学等科学原理上的可验证推断。例如有限元分析建模骨折愈合过程。
- 隐性因果知识则蕴含在大规模观测数据之中，无需明确物理原理，依赖统计或机器学习检测到的相关性。这一特点正是机器学习模型的本质。
正因机器学习依赖隐性知识，其输入变量往往只是“足够”而不“必要”，容易产生遗漏或冗余（涉及过拟合/欠拟合），这也是可信度评估需严格监控的点。
3. 可信度的定义与评估七步框架该文在借鉴测量学、统计学和工程仿真领域的基础上，将“可信度”界定为预测器在所有可能输入条件下输出的误差可控性。由于实际操作无法取得每个系统状态下的真实值，所以需采用分步抽样和误差分解方法对可信度做近似估算。作者提出了完整的七步评估流程：
用例背景及误差阈值明确：首先需界定具体应用情境，限定预测器允许的最大预测误差（ε）。
真实值来源确定：需通过可靠的测量链路获得QI以及相关输入变量的“真实值”，并使测量精度优于允许误差至少一个数量级。
预测误差量化：通过设计受控实验，在不同条件下采集输入和真实输出，量化实际误差分布。
误差源头识别：对不同预测器类型梳理其可能误差来源，比如数值误差（numerical uncertainty）、测量误差（aleatoric uncertainty）、知识不完全误差（epistemic uncertainty）等。
误差源分解：设法将总误差细分为不同成因，有时需特定实验排除其他变量影响，仅考查单一误差源。
误差分布检验：检验各误差源的分布是否符合理论预期，例如测量误差是否服从正态分布。
鲁棒性与适用性评估：在常规应用场景下，还需检查训练集中未能覆盖的输入极值、潜在偏倚以及模型的泛化能力。
论文详细比较了生物物理模型与机器学习模型在上述流程中的差异，尤其在误差来源识别与鲁棒性评估两步中，ML预测器因输入集不再“必要”而更容易漏检关键变量，从而带来较大风险，这一问题也是本论文最重视的内容之一。
4. 偏倚鲁棒性与安全保障措施的提出针对机器学习模型容易因训练集不全而导致适用性滑坡或极端个例下预测失误的问题，论文提出两大策略：
全生命周期（Total Product Life Cycle, TPLC）管理：模型需在上线后持续监控实际表现，不断补充、扩展测试数据集，将使用范围谨慎扩展，确保每个扩展都有充分新数据支撑其可信度。
安全层（Safety Layer）的设计：在模型每次实际预测前，核查输入数据是否属于训练/测试分布，若超出则给出警告或拒绝预测，必要时采用可信传统方案兜底。为实现此目标，强调训练/测试集需尽可能保存所有可观测变量数据，即便某些未被模型实际使用。
5. 共识声明十二条理论与局部证据全文核心体现在十二条理论声明中，其中清晰建构了如下要点：
量的定义、观测与预测关系
DIKW框架在知识层级中的作用及提升流程举例（如肿瘤生长预测）
显性-隐性因果知识的区别与各自适用场景，及其混合模式的前景（如物理约束机器学习、混合框架、顺序/并联模型）
可信度的误差分解与量化原则
ML模型特有问题如过拟合、偏倚、输入缺失、不透明性（黑箱问题）、数据质量和时间动态性等
改善策略如TPC、引入安全层、全面数据采集，强调标准化、持续监控与合规
结合FDA等领域监管机构最新指导文件，与自身框架做互补对照
6. 共识结论、实践建议与创新点结论性观点有：
机器学习预测器因依赖隐性知识，易受偏倚和输入缺失影响，但其高效处理复杂问题有不可替代的价值。
通过系统误差分解与分步评估，可有效提升预测器可信度。
采用全生命周期管理与安全层设计，可显著增强面向不同临床场景和群体的鲁棒性与可推广性。
八项权威推荐包括：
1. 推动可信度评估七步法标准化落地；
2. 鼓励全面高质量数据采集，支持更严格模型评估；
3. 发展适配ML预测器特点的验证与不确定性量化技术；
4. 注重模型透明化和可解释性；
5. 加强与监管机构沟通，确保合规实践；
6. 加大多学科交叉培训、提升临床人员ML素养；
7. 鼓励跨界协作，集聚专业优势；
8. 强调现实世界持续监控与模型动态更新。
7. 论文意义与价值本论文的领域共识声明，首次系统性融合了仿真医学、数据科学、临床与监管四大领域专家智慧，不但回答了“如何科学评估机器学习医学预测模型可信度”的理论和实践之问，还为行业树立了全面标准，填补了学界空白。针对现有文献关注“可解释性”、“可靠性”视角，作者强调“可信度”作为临床应用必不可少的评判维度，不仅仅追求模型“在大多数场景准确”，更要求在所有受控范围内误差都不得超过临床需求阈值，为医学AI的合规安全落地打下基础。
本声明与FDA等监管机构的最新指导文件相呼应，独辟蹊径提出偏倚鲁棒性与安全层范式，为未来AI医疗模型大规模应用提供了现实可操作的路线图。
四、其他增值信息本文得到了欧盟H2020计划的“in silico world”项目支持（项目编号101016503）。
论文所有作者并无利益冲突，相关数据与建议均基于多轮共识流程。
参考文献覆盖机器学习医学、模型验证、可解释性、可靠性、混合建模等多个顶尖领域，文献体系完备。
五、结语这份由国际一线专家联合撰写并经同行社区广泛共识的“机器学习预测器可信度评估共识声明”，不仅深度剖析了医学机器学习模型面临的关键难题，更为模型的开发、评估、临床应用与监管认证描绘了系统性解决框架。它的发布代表着体外仿真医学/医疗AI领域在规范化评估方法论上的重大进步，对推动医学AI的负责任创新与健康产业高质量发展具有里程碑意义。