人工智能在科学发现中的应用:综述与展望
本文是一篇发表于《Nature》期刊的综述文章,题为《Scientific discovery in the age of artificial intelligence》,于2023年8月3日在线发表。文章由来自剑桥大学、加州理工学院、斯坦福大学、麻省理工学院、哈佛医学院、谷歌DeepMind、微软研究院等多家顶尖学术机构和企业的人工智能与自然科学交叉领域的学者共同撰写,通讯作者为哈佛医学院的Marinka Zitnik。该综述系统性地审视了过去十年间人工智能(artificial intelligence,AI)在科学发现领域取得的突破性进展、核心方法论、关键应用场景以及面临的重大挑战。
一、AI驱动科学发现的背景与动因
科学发现的核心在于数据的收集、转化与理解,以及在此基础上形成科学假设与理论。自2010年代初深度学习兴起以来,科学研究的规模和雄心得到了显著扩展。AI正被广泛整合到科学研究的各个环节,包括整合海量数据集、优化测量精度、指导实验设计、探索与数据兼容的理论空间,以及提供与科学工作流集成的可操作模型以支持自主发现。推动这一变革的关键因素包括:大规模数据集的可用性、图形处理器和超级计算机等高速并行计算与存储硬件的发展,以及新型算法的涌现。其中,深度表示学习、几何深度学习(geometric deep learning)、自监督学习(self-supervised learning)、生成模型(generative models)和强化学习(reinforcement learning)等方法尤为突出。这些方法通过引入合理的归纳偏置(inductive bias),将对称性、约束条件、先验知识等科学知识以紧凑的数学形式嵌入AI模型,从而在数据稀缺的情况下提升模型精度,并将分析扩展到广阔的科学假设空间中。
二、AI辅助的数据收集、标注与生成
科学实验平台产生的数据规模和复杂性日益增长,对实时处理和高性能计算的依赖也随之加深。在粒子物理实验中,每次碰撞产生的数据超过每秒100太字节,其中超过99.99%的原始数据为背景事件,必须实时识别并丢弃。深度学习算法替代了预编程的硬件触发系统,能够识别异常信号以捕捉突发的罕见物理现象。在此过程中,深度自编码器(autoencoder)被用于生成式建模背景过程,对偏离背景分布的未见信号赋予更高的重构损失(异常分数),从而实现无监督异常检测,该方法已在物理学、神经科学、地球科学、海洋学和天文学中得到广泛应用。
在数据标注方面,监督学习模型的训练需要带有标签的数据集,但对科学数据进行人工标注往往成本高昂且耗时。伪标签(pseudo-labelling)和标签传播(label propagation)是两种有效的替代策略,它们基于少量精确标注即可自动为海量无标签数据赋予标签。主动学习(active learning)则能识别最具信息量的数据点供人工标注或最具信息量的实验进行执行,从而以更少的专家标注训练模型。数据生成方面,通过数据增强(data augmentation)和深度生成模型可以扩充训练集。生成对抗网络(generative adversarial networks,GANs)已在粒子碰撞事件、病理切片、胸部X光片、材料微结构、蛋白质功能和基因序列等多个科学领域成功合成逼真图像或序列。数据精化方面,AI技术显著提升了测量分辨率、降低了噪声并消除了测量误差,例如在黑洞成像、粒子碰撞捕捉、活细胞成像超分辨率和单细胞基因组学中,深度卷积方法(包括谱反卷积、灵活稀疏性和生成能力)能将低质量的时空分辨率测量转化为高质量、超分辨率的结构化图像。
三、科学数据的有意义表示学习
深度学习能够提取科学数据在不同抽象层次上的有意义表示(representation),并通过端到端学习优化这些表示以指导研究。高质量的表示应保留尽可能多的信息,同时保持简洁和可访问。该综述介绍了三种满足这些要求的新兴策略。
几何先验与几何深度学习。 对称性是科学领域中广泛研究的几何概念,可通过不变性和等变性(equivariance)来描述数学函数在变换群下的行为。将对称性纳入模型可以降低对标注数据的需求,并改善对训练分布之外输入的推断能力。图神经网络(graph neural networks)已成为处理具有几何和关系结构数据集的领先方法,通过神经消息传递算法在图上交换信息,并显式利用局部化信息。根据具体科学问题,研究者开发了不同的图表示:有向边用于玻璃态系统的物理建模,超图用于染色质结构理解,多模态图用于基因组学预测模型,稀疏不规则图则用于大型强子对撞机的粒子重建和信号判别。
自监督学习。 当可用于训练的标注样本稀缺或标注成本高昂时,自监督学习通过预测被遮挡的图像区域、预测视频中的过去或未来帧、以及使用对比学习(contrastive learning)区分相似与不相似的数据点等策略,使模型能够在不依赖显式标签的情况下学习数据的一般特征。自监督学习可作为关键的预处理步骤,在大型无标签数据集上学习可迁移的特征,然后在小型标注数据集上进行微调以执行下游任务。经过预训练的基础模型在广泛科学领域具有通用预测能力,可适配多种任务,提升标签效率并超越纯监督方法。
语言建模与Transformer架构。 掩码语言建模(masked-language modelling)在自然语言和生物序列的自监督学习中均很流行。原子或氨基酸排列成结构以产生分子和生物功能的方式,与字母组成单词和句子以定义文档含义的过程有相似之处。蛋白质语言模型可编码氨基酸序列以捕获结构和功能特性,并评估病毒变异的进化适合度。化学语言模型则促进了广阔化学空间的高效探索,被用于性质预测、多步合成规划和化学反应空间探索。Transformer架构在自然语言处理领域占据主导地位,并已成功应用于地震信号检测、DNA和蛋白质序列建模、序列变异对生物功能的影响建模以及符号回归等问题。
神经算子。 标准神经网络模型假设数据具有固定的离散化格式,但许多科学数据是在不同分辨率和网格上采集的,且数据往往采样自连续的物理现象。神经算子(neural operators)通过学习函数空间之间的映射来学习与离散化无关的表示,一旦训练完成,可在任意分辨率上进行评估而无需重新训练。
四、基于AI的科学假设生成
可检验的假设是科学发现的核心。AI方法可在假设生成过程的多个阶段提供帮助:从噪声观测中识别候选符号表达式、设计分子等对象、提出反例以反驳数学猜想、以及学习假设的贝叶斯后验分布以生成与科学数据和知识兼容的假设。
科学假设的黑盒预测器。 高效筛选候选假设对于最大化下游模拟和实验的产出至关重要。在药物发现中,高通量筛选可评估数千至数百万个分子,算法可优先选择哪些分子进行实验研究。模型可被训练用于预测实验的效用,但在许多情况下缺乏实验真值数据,因此弱监督学习(weakly supervised learning)方法将噪声、有限或不精确的监督作为训练信号,作为人工标注、昂贵计算或高保真实验的代理。AI方法在大规模分子库筛选(如160万个有机发光二极管材料候选物和110亿个基于合成子的配体候选物)、基因组学中基因表达预测、粒子物理中质子内禀粲夸克结构识别等方面展现了高效性。AI筛选的候选物可通过主动学习和贝叶斯优化(Bayesian optimization)利用实验反馈进行持续优化。
在蛋白质折叠领域,AlphaFold2能够从氨基酸序列以原子级精度预测蛋白质的三维原子坐标,即使对于训练数据集中不存在的结构类型也能做出准确预测。这一突破催生了多种AI驱动的蛋白质折叠方法,如RoseTTAFold。逆问题方面,逆折叠或固定骨架设计方法可从蛋白质骨架的三维原子坐标预测氨基酸序列。
组合假设空间的导航。 在符号回归中,强化学习方法逐步使用神经网络生成数学表达式,通过从预定义词汇表中添加数学符号来顺序构建表达式,并以解析树形式表示。学习到的策略以解析树为输入,决定扩展哪个叶节点以及添加什么符号。另一种方法将数学公式转化为二进制符号序列,神经网络策略依次逐个生成二进制字符。通过设计奖励函数来衡量反驳猜想的能力,该方法可在对数学问题一无所知的情况下找到数学猜想的反驳。组合优化同样适用于分子设计等离散决策任务,强化学习方法已被成功应用于多种优化问题,包括最大化蛋白质表达、亚马逊流域水电规划、粒子加速器参数空间探索等。
可微假设空间的优化。 科学假设常以离散对象形式存在,如物理中的符号公式或化学中的化合物。为使用基于梯度的方法进行高效优化,可采用两种策略:一是使用变分自编码器(variational autoencoders,VAEs)等模型将离散候选假设映射到潜在可微空间中的点;二是将离散假设松弛为可微对象。在物理学的符号回归应用中,语法VAE将离散符号表达式表示为使用上下文无关语法的解析树,并映射到可微潜在空间,然后使用贝叶斯优化在潜在空间中优化符号定律。在材料科学中,热力学规则与自编码器结合使用,设计可解释的潜在空间用于识别晶体结构的相图。在化学中,SMILES-VAE等模型可将SMILES字符串转化为可微潜在空间,通过自监督学习预测分子性质并基于潜在表示进行优化。这种方法已被用于蛋白质和小分子的设计。
五、AI驱动的实验与模拟
实验的高效评估。 AI系统提供实验设计和优化工具,可增强传统科学方法、减少所需实验次数并节省资源。在合成规划中,AI系统可设计目标化合物的合成路线,减少人工干预。主动学习已在材料发现与合成中得到应用,利用不确定性估计高效探索高维参数空间。在实验进行过程中,强化学习方法可持续对环境做出反应,最大化实验的安全性和成功率。例如,强化学习已被证明对托卡马克等离子体的磁控制有效,算法与托卡马克模拟器交互以优化控制策略。在量子物理中,强化学习算法通过迭代设计实验并接收反馈,优化量子系统的测量与控制。
利用模拟从假设推导可观测量。 AI系统可通过更精确地拟合复杂系统的关键参数、求解控制复杂系统的微分方程以及建模复杂系统中的状态,来增强计算机模拟。在分子模拟中,基于AI的神经势能函数可拟合昂贵但精确的量子力学数据,替代传统力场。不确定性量化已被用于定位高维自由能面上的能量障碍,从而提高分子动力学模拟的效率。在微分方程求解方面,AI神经求解器将物理知识与深度学习的灵活性相结合,已应用于计算流体动力学、玻璃态系统结构预测、刚性化学动力学问题求解以及地震波走时计算等。神经普通微分方程可对连续时间进行建模,物理信息神经网络可在时空域中参数化Navier-Stokes方程的解。在统计建模方面,基于归一化流(normalizing flows)的玻尔兹曼生成器可生成复杂系统的平衡态样本,增强了格点场和规范理论中的采样效率,并改善了马尔可夫链蒙特卡洛方法。
六、重大挑战与未来方向
尽管取得了显著进展,AI在科学发现中的广泛应用仍面临若干重大挑战。数据层面,科学数据集往往因测量技术限制而产生不完整数据、偏差或冲突读数,且因隐私和安全考虑而难以获取。需要标准化和透明的数据格式,模型卡和数据表等文档化工作是改善数据集和模型操作特性的重要努力。联邦学习和密码学算法可防止敏感数据泄露。算法层面,分布外泛化是AI研究的前沿问题。人类大脑能比现有AI更好更快地泛化到修改后的环境,这可能是因为人类构建的不仅是统计模型,而是因果模型。将因果性纳入AI仍是一个年轻的领域。自监督学习的迁移学习方案往往缺乏理论指导且易受分布偏移影响,需要系统性地衡量跨领域可迁移性并防止负迁移。科学数据本质上是多模态的,整合多模态观测仍具挑战性,但神经网络的模块化特性意味着不同神经模块可将多样化数据模态转化为通用向量表示。将科学知识纳入AI模型的原则性方法仍有待建立。黑盒模型的不可解释性降低了用户信任,透明深度学习模型仍然难以实现。实践层面,深度学习的应用给人在环路的AI驱动设计、发现和评估带来了复杂挑战。自驱动实验室通过结合自动化机器人控制和高通量合成测试线,实现了从预测到实验的自动化闭环。AI系统的实际实现涉及复杂的软件和硬件工程,可复现性受模型训练的随机性、模型参数变化和训练数据集演变的影响。标准化基准和开源倡议有助于缓解这些问题。科学事业层面,研究团队的构成将发生变化,纳入AI专家、软硬件工程师以及政府、教育机构和企业的协作。大型模型的训练需要庞大的计算资源和能源,导致了巨大的能源足迹和高昂的计算成本。学术界与产业界的互补性资产促进了新的合作模式,但也影响研究问题的选择。AI的误用和结果误读可能造成显著的负面影响,需要建立伦理审查流程和负责任实施策略。安全风险方面,算法可被重新用于双重用途,造成脆弱性。
七、结论
AI系统能够为科学理解做出贡献,使研究无法通过其他方式可视化或探测的过程和对象成为可能,并通过从数据构建模型并与模拟和可扩展计算相结合来系统性地激发新思想。为负责任地在科学研究中使用AI,需要衡量AI系统的不确定性、误差和效用水平,这对于准确解释AI输出并确保不会过度依赖可能存在缺陷的结果至关重要。AI有望解锁以前无法触及的科学发现,但安全性和可靠性问题必须通过负责任和深思熟虑的技术部署来加以解决。