分享自:

基于溯因学习的机器学习与逻辑推理桥接

期刊:33rd Conference on Neural Information Processing Systems (NeurIPS 2019)

本文作者为Wang-Zhou Dai、Qiuling Xu、Yang Yu和Zhi-Hua Zhou,均来自南京大学计算机软件新技术国家重点实验室(National Key Laboratory for Novel Software Technology, Nanjing University)。其中Dai和Xu为共同第一作者,现分别任职于帝国理工学院和普渡大学。该研究发表于2019年第33届神经信息处理系统大会(33rd Conference on Neural Information Processing Systems, NeurIPS 2019)。

这篇论文属于类型a,即单一原创性研究报告。其核心内容是提出并验证了一种名为“溯因学习”(Abductive Learning, ABL)的新框架,旨在将机器学习与逻辑推理进行统一。下面将对该研究进行全面介绍。

一、研究背景与目标

感知(perception)与推理(reasoning)是人类智能中两项具有代表性的能力。在现代人工智能领域,这两项能力通常分别由机器学习和逻辑程序设计来实现。然而,在人工智能的大部分历史中,这两类技术是独立发展的。机器学习技术如深度神经网络在感知任务中取得了卓越表现,但难以利用符号形式的领域知识;基于逻辑的人工智能系统在推理任务中表现出人类水平的能力,但难以处理来自感知层面的原始输入。概率逻辑程序(probabilistic logic programming)和统计关系学习(statistical relational learning)试图整合学习与推理,但它们通常要求输入已经是符号化的语义级事实,无法直接处理如图像之类的亚符号(sub-symbolic)数据。

作者的研究目标是实现机器学习与逻辑推理在同一个框架内互相促进。更具体地说,作者的目标是解决以下问题:在没有原始逻辑事实的真值标注的情况下,如何同时训练一个感知模型(用于从原始数据中识别符号)和一个知识模型(用于进行符号推理),使两者能够互相修正、互相改进。作者从人类在破译玛雅历法时所表现出的溯因推理(abductive reasoning)过程中获得灵感,提出了ABL框架。

二、研究框架与工作流程

ABL方法将任务形式化如下:给定一组带标签训练数据D以及一阶逻辑背景知识库B,目标概念C由未知关系定义在一组原始概念P之上。ABL需要输出一个假设模型H = P ∪ ΔC,其中P是从原始特征到原始符号的感知模型,ΔC是定义目标概念C的知识模型。所有训练样本都应满足逻辑蕴含关系B ∪ ΔC ∪ P(x) |= y。

ABL框架由三个主要模块构成:机器学习模块、逻辑溯因模块和一致性优化模块。机器学习模块(如卷积神经网络)负责从图像等原始数据中预测伪标签(pseudo-labels)P(x)。逻辑溯因模块基于溯因逻辑程序设计(Abductive Logic Programming, ALP)实现,它在给定观测事实和背景知识时,能够推导出可能的解释假设。一致性优化模块用于处理当伪标签错误导致逻辑溯因失败的情况。该方法的目标是最大化假设H与训练数据D在背景知识B下的一致性,其形式化目标为最大化一致子集的大小。

在训练过程中,ABL采用交替优化的方式:首先用当前感知模型P_t对训练样本进行预测得到伪标签;如果伪标签有误导致无法溯因出任何一致的ΔC,则调用一致性优化过程。一致性优化通过一个启发式函数δ来标记可能错误的伪标签,将其替换为逻辑变量后,由逻辑溯因模块推导出修正后的伪标签以及知识模型ΔC。修正后的伪标签r(x)随后被用于重新训练感知模型。如此循环迭代,感知模型和知识模型互相促进。具体实现中,作者使用RACOS这一无导数优化工具来求解δ函数,使用Prolog实现溯因逻辑程序。

三、实验设计与结果

作者设计并开展了手写方程破译任务来验证ABL的有效性。该任务包含两类数据集:数字二进制加法(DBA)方程和随机符号二进制加法(RBA)方程。DBA使用标准手写数字数据集构建,RBA使用Omniglot数据集中的随机字符构建。每个方程由一串符号图像组成(如“0”、“1”、“+”、“=”),并带有一个标签表示该方程是否正确。未知的运算规则需要机器从数据中学习。共有24种可能的符号映射和64种可能的运算规则集合,因此逻辑溯因的搜索空间包含1536种不同的ΔC。训练集包含长度从5到26的方程共6600个,每个长度300个;测试集使用与训练集不相交的图像。

实验比较了ABL与多种先进的深度学习方法:可微分神经计算机(DNC)、Transformer网络和双向长短期记忆网络(BiLSTM)。为了公平比较,所有方法都使用相同的结构化CNN作为输入层。实验重复10次。

实验结果显示,在DBA和RBA两个任务上,ABL方法均显著优于对比方法。随着测试方程长度增加,对比方法的性能迅速下降到随机猜测水平,而ABL方法能够更好地泛化到未见过的新方程。作者还发现,ABL在训练过程中虽然没有真实标签,但CNN的训练准确率确实持续上升,说明“训练CNN”和“学习未知运算规则”二者确实在训练过程中互相促进。此外,人类志愿者实验显示,人类在这两类任务上的表现非常接近,但均弱于ABL,志愿者报告称他们不擅长检查逻辑理论的一致性,而机器在这方面具有优势。

作者还进行了跨任务迁移实验。将DBA任务中学到的CNN迁移到逻辑异或方程任务中,ABL的收敛速度明显加快。将RBA任务中学到的知识模型迁移到DBA任务中,ABL的收敛速度同样显著快于不迁移的情况。作者进一步在扩展的n皇后问题上测试了ABL的灵活性,使用Prolog溯因逻辑程序以及两种约束逻辑程序设计系统实现了逻辑溯因,结果显示ABL方法优于单独的CNN和BiLSTM。

四、结论与价值

该研究证明,在同一框架内同时进行亚符号的机器学习和支持递归的全功能一阶逻辑推理是可能的。ABL框架具有通用性和灵活性:感知模型可以使用预训练模型而非从头训练;机器学习任务可以是半监督的;逻辑溯因可以涉及二阶逻辑子句,从而支持递归子句的推导和谓词的自动发明。

ABL的主要贡献在于:第一,提出了一种新的框架,使机器学习和逻辑推理能够以互相促进的方式结合,而不是让一方取代另一方;第二,设计了具体的一致性优化算法,解决了伪标签错误导致逻辑溯因失败的问题;第三,通过手写方程破译和n皇后问题等实验,证明了该方法在小样本条件下能够同时学习感知和知识模型,并具有良好的泛化和迁移能力。该工作的科学价值在于为神经符号学习提供了新的思路;其应用价值在于该框架能直接纳入已有的符号人工智能技术(如约束逻辑程序),为实际应用中结合感知与推理提供了可行的技术路线。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com