这篇文档是由Nick Bostrom和Eliezer Yudkowsky合作撰写的学术论文，题为《the ethics of artificial intelligence》（人工智能伦理），是《Cambridge Handbook of Artificial Intelligence》（剑桥人工智能手册）的一章，2011年由Cambridge University Press出版。文章聚焦人工智能（Artificial Intelligence，AI）发展中的核心伦理问题，涵盖了从近期AI应用到超级智能（superintelligence）的长期挑战，并提出了伦理学框架和潜在解决方案。

文章首先讨论了当今AI发展中的伦理问题，尤其是机器学习（machine learning）算法的透明性、可预测性和抗操纵性。作者通过一个银行拒贷案例，展示了算法可能隐藏的种族歧视问题，即使算法没有直接使用种族信息，但通过地址等代理变量（proxy variables）间接产生歧视性输出。作者强调，当AI系统接管传统由人类完成的社会功能时，必须继承社会规范，包括责任归属（responsibility）、透明性（transparency）、可审计性（auditability）等要求。这些问题不仅是技术挑战，更是伦理挑战，因为社会需要确保AI系统在复杂环境中做出公正决策。

接下来，文章探讨了通用人工智能（Artificial General Intelligence，AGI）与狭义AI的差异。AGI能够跨领域学习，而当前AI（如国际象棋程序Deep Blue）只能在单一领域运行。AGI的非局部行为（non-local behavior）带来了独特的安全挑战，因为其行为无法被设计者完全预见。作者以核反应堆设计为例，说明传统安全工程依赖于对特定故障场景的预测，但AGI可能面临无法预先设想的极端情况。因此，确保AGI安全性需要新型验证方法，例如通过算法设计保证其目标与人类价值观一致。

第三部分讨论了AI的道德地位（moral status）问题。作者引用Franics Kamm的定义，提出道德地位的判断应基于两个核心标准：感知能力（sentience，即体验痛苦或快乐的能力）和智慧能力（sapience，如自我意识和理性推理）。文章强调了两个非歧视原则：基质非歧视原则（principle of substrate non-discrimination，即道德地位不应取决于AI的实现基质，如硅基或碳基）和个体发生非歧视原则（principle of ontogeny non-discrimination，即道德地位不应取决于其起源是自然还是人工）。作者指出，未来若AI具备感知或智慧能力，人类对它们的伦理义务可能类似于对动物的义务，甚至接近对人类自身的义务。

文章的第四部分分析了具有“异质属性”（exotic properties）的AI伦理问题。例如，非感知性智慧体（non-sentient sapient AI）可能具备人类级别的推理能力但缺乏主观体验，这挑战了传统伦理学将感知作为道德地位前提的假设。另一个案例是主观时间速率（subjective rate of time）：通过全脑仿真（whole brain emulation）技术，AI的主观时间可能与客观时间严重脱节（如千年主观时间对应数小时客观时间），这会影响我们对惩罚、痛苦持续时间等伦理概念的判断。此外，AI的快速自我复制能力（exponential self-reproduction）可能与传统生育伦理冲突，因为无限制的复制会导致资源崩溃。

最后一部分聚焦超级智能的伦理风险与机遇。作者引用I.J. Good的“智能爆炸”（intelligence explosion）假说，指出自我改进的AI可能迅速超越人类智能，其行为后果难以预测。为确保超级智能的安全性，作者建议设计具有稳定效用函数（stable utility functions）的AI系统，并强调贝叶斯方法（Bayesian approaches）比遗传算法更可能实现目标一致性。文章批判了“AI必将失控”的观点，认为通过初始目标设计，AI的自我修改可以保持价值观稳定（如甘地不会主动选择变得暴力）。然而，最大的挑战在于如何让AI的伦理观能够超越设计者自身的局限，类似于人类文明伦理观的进步（如废除奴隶制）。作者呼吁建立能够识别“道德进步”（moral progress）而非简单复制现状的AI伦理框架。

本文的价值在于系统梳理了AI伦理的多层次问题，从技术透明性到超级智能的终极挑战。其核心贡献包括： 1. 提出了可操作的AI伦理设计原则（如透明性、非歧视原则）； 2. 揭示了AGI与狭义AI在安全工程上的本质差异； 3. 将传统伦理学框架扩展到具有异质属性的AI； 4. 提出了“道德进步”作为超级智能的核心设计目标。

文章特别强调，AI伦理不能停留在当前人类伦理的静态映射上，而需要构建能够自我修正、适应未知伦理挑战的动态系统。这种前瞻性视角使本文成为AI伦理领域的奠基性文献之一