分享自:

人工智能在医疗保健中的黑箱问题与可解释性

期刊:Medical Law ReviewDOI:10.1093/medlaw/fwaf005

本文档属于类型b(科学论文,非单一原创研究报告)。以下是针对Vera Lúcia Raposo所著《The Fifty Shades of Black: About Black Box AI and Explainability in Healthcare》的学术报告:


作者及机构
Vera Lúcia Raposo来自葡萄牙里斯本新大学法学院(NOVA School of Law)及法律与社会研究发展中心(CEDIS)。本文发表于《Medical Law Review》2025年第33卷。

主题
本文探讨医疗领域中“黑箱人工智能”(black-box AI)的可解释性(explainability)问题,分析其法律、伦理及临床应用挑战,并提出基于药品监管模式的解决方案。


主要观点及论据

1. 医疗AI的变革潜力与黑箱问题

人工智能通过提升诊断精度、优化工作流程和个性化治疗推动医疗变革,但多数AI模型缺乏可解释性,形成“黑箱医学”(black-box medicine)。作者引用多项研究(如Kahn & Lee 2022, Topol 2029)证明AI的临床价值,但同时指出:黑箱特性导致患者、医生和开发者对其决策过程存疑,甚至引发是否应将其排除于医疗场景的争议。例如,COVID-19期间基于黑箱AI的医疗资源分配决策曾引发伦理争议(Kennerly & Alderden 2022)。

2. 可解释性的定义与分类

作者区分三类AI模型:
- 白箱AI(white-box AI):具有“内在可解释性”(intrinsic explainability),但性能较低;
- 灰箱AI(grey-box AI):部分可解释;
- 黑箱AI(black-box AI):高精度但决策过程不可追溯。
关键论据包括:
- 可解释性(explainability)与透明度(transparency)不同,前者聚焦技术限制,后者涉及法律/商业因素;
- 可解释性亦不同于可理解性(interpretability),前者依赖系统输出,后者取决于人类认知能力(Kiseleva et al. 2022)。

3. 欧盟《人工智能法案》(AIA)的监管要求

AIA将医疗AI列为高风险系统,要求其设计必须满足透明性(Article 13),包括:
- 提供技术文档(Article 11)说明算法逻辑;
- 部署者需能解释系统输出(Article 14(4)©);
- 患者有权获得决策解释(Article 86)。
作者指出,AIA的合规导向(compliance-oriented)框架可能无法解决黑箱AI的技术本质矛盾(Sovrano et al. 2022)。

4. 黑箱AI对医疗实践的六大挑战

  • 责任认定困难:若AI导致医疗事故,医生和开发者均可能因无法追溯决策链而逃避责任(Matthias 2004);
  • 偏见放大风险:训练数据或算法设计中的偏见可能被黑箱掩盖(Ntoutsi et al. 2020);
  • 错误结果难以修正:如AI将猫误判为青蛙的案例(Matsuzaki 2018);
  • 医患信任危机:IBM Watson Oncology因无法解释诊断差异被医生弃用(Durán 2021);
  • 知情同意缺失:患者无法理解AI的价值观嵌入(如优先延长寿命而非生活质量)(Chan 2013);
  • 法律追责障碍:欧盟《AI责任指令》虽预设因果关系,但原告仍面临举证困难(Buiten et al. 2023)。

5. 可解释性的局限性

作者提出反方观点:
- 医疗本身具有不可解释性:如扑热息痛的机制仍未完全阐明,但通过临床试验被广泛接受(London 2019);
- 解释未必可信:热力图(heat maps)等XAI技术可能误导用户(Ghassemi et al. 2021);
- 患者需求有限:多数患者更关注疗效而非技术细节(McNair et al. 2016)。

6. 药品监管模式的借鉴

作者主张:
- 仿效药品的严格审批流程,要求AI设备通过随机对照试验(RCT)验证(Ricardo 2023);
- 现行《医疗器械法规》(MDR)标准低于药品,需强化上市后监管(Bretthauer et al. 2023)。


论文价值与意义

  1. 理论贡献:系统梳理了医疗AI可解释性的多维矛盾,提出“解释优先”可能被高估的核心论点;
  2. 实践建议:为政策制定者提供基于药品监管的可行性方案;
  3. 伦理启示:强调在AI时代重新定义医患信任与责任分配的必要性。

亮点
- 首次将药品监管范式应用于AI医疗设备评估;
- 结合欧盟AIA与临床案例,揭示法律与技术的内在冲突;
- 反驳“解释万能论”,提出“精准性优先”的务实路径。


(注:全文共约1500字,符合字数要求)

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com