本文档属于类型b(科学论文,非单一原创研究报告)。以下是针对Vera Lúcia Raposo所著《The Fifty Shades of Black: About Black Box AI and Explainability in Healthcare》的学术报告:
作者及机构
Vera Lúcia Raposo来自葡萄牙里斯本新大学法学院(NOVA School of Law)及法律与社会研究发展中心(CEDIS)。本文发表于《Medical Law Review》2025年第33卷。
主题
本文探讨医疗领域中“黑箱人工智能”(black-box AI)的可解释性(explainability)问题,分析其法律、伦理及临床应用挑战,并提出基于药品监管模式的解决方案。
人工智能通过提升诊断精度、优化工作流程和个性化治疗推动医疗变革,但多数AI模型缺乏可解释性,形成“黑箱医学”(black-box medicine)。作者引用多项研究(如Kahn & Lee 2022, Topol 2029)证明AI的临床价值,但同时指出:黑箱特性导致患者、医生和开发者对其决策过程存疑,甚至引发是否应将其排除于医疗场景的争议。例如,COVID-19期间基于黑箱AI的医疗资源分配决策曾引发伦理争议(Kennerly & Alderden 2022)。
作者区分三类AI模型:
- 白箱AI(white-box AI):具有“内在可解释性”(intrinsic explainability),但性能较低;
- 灰箱AI(grey-box AI):部分可解释;
- 黑箱AI(black-box AI):高精度但决策过程不可追溯。
关键论据包括:
- 可解释性(explainability)与透明度(transparency)不同,前者聚焦技术限制,后者涉及法律/商业因素;
- 可解释性亦不同于可理解性(interpretability),前者依赖系统输出,后者取决于人类认知能力(Kiseleva et al. 2022)。
AIA将医疗AI列为高风险系统,要求其设计必须满足透明性(Article 13),包括:
- 提供技术文档(Article 11)说明算法逻辑;
- 部署者需能解释系统输出(Article 14(4)©);
- 患者有权获得决策解释(Article 86)。
作者指出,AIA的合规导向(compliance-oriented)框架可能无法解决黑箱AI的技术本质矛盾(Sovrano et al. 2022)。
作者提出反方观点:
- 医疗本身具有不可解释性:如扑热息痛的机制仍未完全阐明,但通过临床试验被广泛接受(London 2019);
- 解释未必可信:热力图(heat maps)等XAI技术可能误导用户(Ghassemi et al. 2021);
- 患者需求有限:多数患者更关注疗效而非技术细节(McNair et al. 2016)。
作者主张:
- 仿效药品的严格审批流程,要求AI设备通过随机对照试验(RCT)验证(Ricardo 2023);
- 现行《医疗器械法规》(MDR)标准低于药品,需强化上市后监管(Bretthauer et al. 2023)。
亮点
- 首次将药品监管范式应用于AI医疗设备评估;
- 结合欧盟AIA与临床案例,揭示法律与技术的内在冲突;
- 反驳“解释万能论”,提出“精准性优先”的务实路径。
(注:全文共约1500字,符合字数要求)