本文档作者Margot E. Kaminski,科罗拉多大学法学院副教授、硅谷扁平铁中心隐私倡议项目主任、耶鲁法学院信息社会项目附属教员。该论文发表于《波士顿大学法律评论》(Boston University Law Review)第103卷第1347页,发表日期为2023年。
论文的核心主题是分析人工智能(“AI”)治理中日益兴起的“风险规制”模式,深入探讨了运用风险规制工具治理AI系统的深层含义、固有局限性与政策后果,旨在为理解和评估AI领域的法律建构提供一个分析框架。
主要论点一:AI治理正围绕风险规制模式走向趋同,但这种趋同并非中性,而是一种带有特定价值取向的法律建构选择。 作者首先指出一个显著趋势:无论是美国还是欧盟的立法者,都已开始采用风险规制的工具来治理AI系统。例如,美国联邦和州层面提出的法案要求对特定AI应用进行风险评估与缓解;美国国家标准与技术研究院(NIST)开发了人工智能风险管理框架(AI RMF);欧盟的《人工智能法案》草案建立在产品安全风险规制的现有框架之上;甚至《通用数据保护条例》(GDPR)也将其讨论颇多的个体权利与风险规制并用。然而,作者强调,将AI的潜在危害构建为“风险”,并选择风险规制作为应对工具,这本身就是一个具有深远后果的价值选择。风险规制并非一个必然或中性的技术管理工具,它附带了一整套在其他监管领域(如环境法、健康法、安全监管)中已经显现的特定理念、工具和问题,其应用会引导法律走向特定的AI治理路径,做出隐性的权衡并带有可预测的缺陷。
主要论点二:风险规制模式在应用于AI治理时,伴随着显著的“政策包袱”,导致一系列固有局限。 作者详细阐述了选择风险规制路径所固有的、可预测的局限,称之为“政策包袱”: 1. 技术矫正主义倾向:风险规制倾向于假设技术将被采用,其核心目标是“修复”技术以使其能够被使用,而非首先考虑在某些情况下可能完全不应使用该技术。这限制了从源头上禁止或限制不当AI应用的讨论空间。 2. 量化偏见与难以量化危害的边缘化:风险规制最擅长处理可量化的问题,但对于难以量化的危害(如尊严损害、系统性歧视的复杂社会影响)则应对乏力。这种偏见可能导致对某些人群(通常是边缘化群体)所遭受的伤害视而不见或低估。 3. 政策决策的技术化遮蔽:风险规制过程可能将本质上是政策判断和价值权衡的决策(例如,如何在效率与公平、安全与创新之间取舍)伪装成纯粹的技术或科学决策,从而规避民主讨论和政治问责。 4. 补偿机制的缺失:典型的AI风险规制模式并不旨在为受损害的个人提供完整的补偿或使其恢复原状。它聚焦于事前预防和系统性风险降低,而非事后的个体救济。 5. 反馈循环的缺乏与监管俘获风险:当前部署的AI风险规制(尤其是较温和的版本)缺乏侵权责任诉讼所具有的动态反馈循环。侵权诉讼通过个案积累能不断塑造行为标准和揭示新风险。而试图使风险规制更具响应性的努力(如持续审计、影响评估更新)可能面临被监管行业“俘获”的风险,即评估标准和方法受行业主导,削弱监管效力。
主要论点三:风险规制本身并非铁板一块,其内部存在至少四种有显著差异的模型,选择不同模型对问责制的影响重大。 在选择了风险规制这一宏观路径后,监管者仍需决定采用何种具体的风险规制模型。作者指出,风险规制是一种具有多重起源的“法律移植”,至少可以识别出四种在问责制安排上存在重要分歧的模型: 1. 美国行政法中的量化风险评估模型(1960s-1980s):这种模型强调高度定量化的风险评估和成本效益分析,常见于美国环境保护署(EPA)等机构的决策中。它将风险尽可能转化为可计算、可比较的指标。 2. 民主监督模式的风险规制(以美国《国家环境政策法》NEPA为代表):此模型的核心工具是环境影响声明(EIS),其目的不仅是评估风险,更是为了确保政府决策过程的透明化,并将风险评估作为公众参与和民主审议的基础。 3. 英国版本的“基于风险的规制”:这种模式在宏观层面上根据风险水平来分配监管资源和执法力度。监管机构对高风险领域投入更多关注,对低风险领域则采用更宽松的监管方式,其核心是优化监管资源的配置效率。 4. 企业风险管理模式(以NIST框架为代表):这种模式由行业标准主导,侧重于为企业提供识别、评估和管理自身风险的框架和最佳实践。它通常是自愿性或软法性质的,依赖企业的自我评估和自我报告,其问责机制相对较弱。 作者强调,识别这些差异至关重要,因为它有助于研究者和政策制定者理解,在选择了“风险规制”这个大帽子后,具体采用哪一种模型将深刻影响法律如何构建AI系统的意义、如何分配责任以及如何实现问责。
主要论点四:通过三个具体案例研究,阐释了将AI危害建构为个体损害与建构为系统性风险两种视角的差异及其后果。 为了具体说明风险规制的应用及其内涵,论文分析了三个案例:自动驾驶汽车安全(Uber致命事故)、AI员工招聘(亚马逊性别偏见算法)以及AI在公共卫生中的应用(医疗资源分配算法和处方药监测算法中的种族与性别偏见)。在每个案例中,作者对比了两种法律视角: * 个体化、事后视角:关注具体的、已发生的损害(如行人死亡、求职者被歧视、患者被拒绝治疗),依赖于侵权诉讼或反歧视诉讼来寻求赔偿或纠正。这种视角面临因果关系认定困难、技术不透明、诉讼成本高等挑战。 * 系统性、事前风险视角:关注潜在的、系统性的失败根源(如糟糕的安全文化、有偏的训练数据、人机交互设计缺陷),并试图通过风险评估、设计标准、审计等工具在事前预防危害。这种视角的优点是可以从根源上应对系统性风险,但其代价是可能淡化个体伤害的具体性,将政策讨论引向技术性修复,并默认了技术的继续使用。
论文的价值与意义: 1. 学术贡献:本文是首篇系统性地审视和比较欧美AI领域新兴的风险规制法律与提案,并将其置于更广阔的风险规制理论(源于环境、健康、安全等领域)背景下进行批判性分析的论文。它对“法律与技术”领域关于技术是否驱动法律还是法律建构技术的持续辩论做出了理论贡献,明确采取了“法律建构论”立场,认为法律在塑造社会技术变革的意义上扮演着积极角色。 2. 实践与政策贡献:文章为政策制定者、研究者和倡导者提供了一个关键的分析框架,用以“透视”风险规制作为一种法律工具的短板,并识别特定法律中正在运作的是何种风险规制模型。这有助于更清醒地评估现行和拟议的AI法规,预知其可能带来的意想不到的后果,并在制度设计上做出更明智的选择。 3. 核心启示:文章的最终论点是,对风险规制的选择并非简单的技术管理决策,而是一种深刻的法律和政治选择,它决定了社会将如何看待AI、优先考虑哪些价值、忽视哪些伤害以及由谁来承担代价。在AI治理的全球规则正在形成的当下,认识到这种选择的建构性本质及其附带的“政策包袱”,对于塑造一个更加公正、负责和有效的AI法律环境至关重要。