面向可解释时间序列分类的可靠且直观时序逻辑规则学习研究学术报告
本文旨在向研究同仁介绍一项发表于KDD ‘25(第31届ACM SIGKDD知识发现与数据挖掘会议)的原创性研究工作。该研究由中国科学院软件研究所的王洋、朱嘉琪、李苗苗、李一林、杨毅、李佳凡、王宏安,以及中国科学院重庆绿色智能技术研究院的刘江共同完成。论文标题为“Learning Reliable and Intuitive Temporal Logic Rules for Interpretable Time Series Classification”,已于2025年8月正式发表。
一、 学术背景与研究动机 本研究的核心科学领域位于数据挖掘与机器学习交叉地带,具体聚焦于可解释时间序列分类。在医疗诊断、金融风控、公共安全等安全关键领域,模型决策的透明度和可解释性至关重要。用户不仅需要准确的分类结果,更期望模型能提供明确、严谨的决策依据,以建立信任。尽管基于规则的时间序列分类模型因其能提供显式的规则解释而受到关注,但现有方法存在两大瓶颈:第一,可靠性不足:现有神经符号方法(如NSTSC)通过神经网络模拟逻辑规则,但其“软”推理过程中,规则未覆盖的时间点(即使权重很小)仍会影响最终决策,导致提取的规则与模型实际决策过程不完全一致,损害了用户信任。第二,直观性欠缺:现有方法独立学习每个时间点的权重,然后通过后处理识别权重较大的连续区间作为时序属性。这种方式不符合人类对时序属性“连续性”的直观理解,且表达能力有限,通常只使用单一谓词的“始终”和“最终”算子,无法捕捉多个谓词间的时序关联(如“直到”关系)。
因此,本研究旨在解决一个核心挑战:如何实现神经网络与符号逻辑(特别是时序逻辑)更有效的融合,以学习可靠(与模型内部执行完全一致)且直观(符合人类对时序模式理解)的规则,从而为时间序列分类提供可信的解释。具体目标包括:1)设计一种能严格匹配时序逻辑规则语义的神经网络训练策略,确保规则与决策过程完全一致;2)提出一种能学习连续时间区间边界而非独立点权重的方法,以捕获更具人类可理解性的时序属性;3)引入更丰富的时序逻辑算子,特别是能表达双谓词间关系的“直到”算子,以增强模型表达能力。
二、 研究方法与详细工作流程 本研究提出了一种名为TemporalRule的新型神经符号模型。其核心思想是构建一个端到端的层次化神经网络架构,直接学习用于可解释时间序列分类的信号时序逻辑规则。整个工作流程包含以下关键步骤与创新模块:
1. 数据预处理与多视图表示: 研究首先对输入的单变量时间序列进行数据增强,生成三种视图的表示:原始数据、周期图谱数据(通过离散傅里叶变换获得,揭示频域特征)和导数数据(计算一阶差分,表征相邻点间的变化关系)。每种视图的数据分别被归一化并分割成多个片段。这种“片段化”策略是为了在保持规则局部解释性的同时,有效捕捉时间序列的局部属性。此外,还为每个片段计算了五种统计特征(最大值、最小值、中位数、平均值、标准差),作为片段级统计谓词的来源。
2. 二值化层: 为了将连续的时序值转化为逻辑谓词,模型设计了二值化层。与以往为整个序列设置单一阈值不同,本研究为每个片段自适应地学习多个区间边界,将连续值划分到不同的“箱”中。每个箱对应一个原子谓词(例如,(c1 ≤ x_t < c2))。通过一个基于距离的概率计算(使用带温度参数的Softmax)和argmax操作,将每个时间点的值或每个片段的统计特征转化为一个二进制向量,表示其满足哪个原子谓词。这种方法能更好地适应时间序列不同区域的分布差异。
3. 时序逻辑层(核心创新): 这是模型的核心创新层,旨在从点级谓词中挖掘具有类别区分度的时序属性。该层通过专门设计的神经网络结构模拟了五种时序逻辑算子: * 始终(□)与最终(^):传统方法通过模拟合取/析取独立学习每个时间点的权重。本研究创新性地提出直接学习时间区间[t1, t2]的边界a1和a2(作为模型参数)。通过一个Sigmoid函数w = sigmoid((a1 - m)(m - a2))为区间内的点分配高权重(接近1),区间外的点分配低权重(接近0)。这使得学习的权重自然地呈现出连续性,符合“始终”属性的直观语义。“最终”算子则通过其对偶性实现。 * 直到(U):这是本研究首次在规则学习模型中成功引入的双谓词时序算子,用于捕捉如“条件A成立,直到条件B发生”的复杂关系。模型设计了一个两层网络结构:下层模拟在某个时间点m之前“始终”满足第一个谓词的条件,上层模拟在该点m“最终”满足第二个谓词的条件。通过将下层的输出与第二个谓词在点m的真值相乘,再输入上层,精确实现了“直到”的语义。时间区间边界同样是自适应学习的。 * 最终-始终(EA)与始终-最终(AE):这两种二级复合算子用于表达更灵活的时序模式,例如“在某个时间点之后,某属性始终成立”(EA),或“在某个时间段内,某属性频繁出现”(AE)。它们通过堆叠“始终”和“最终”算子的两层网络实现,并学习三个时间边界参数。
该层的输出是所有片段、所有视图下,由这些算子构成的时序逻辑公式的真值向量。
4. 逻辑层: 该层负责将时序逻辑层输出的时序属性真值向量与二值化层输出的片段级统计谓词真值向量进行整合。它由两个子逻辑层组成,每个子层包含合取模块和析取模块,使用改进的逻辑激活函数来模拟逻辑连接词。其作用是自动学习时序属性与统计谓词的合取与析取组合,形成最终的STL规则,作为时间序列的高级特征。
5. 线性分类层与训练策略: 一个线性层接收逻辑层输出的最终规则真值向量,并学习每条规则对于每个分类类别的重要性权重,从而产生分类结果。
为确保可靠性,本研究采用了梯度嫁接训练策略。模型同时维护一个“硬”版本(所有权重根据0.5阈值二值化为0或1)和一个“软”版本(连续权重)。训练时,使用“硬”版本进行前向传播计算损失,但使用“软”版本的梯度进行反向传播更新参数。推理时,仅使用“硬”版本。这种策略确保了模型内部严格的0/1逻辑推理,使得最终提取的规则与模型的决策过程完全一致,消除了小权重点的干扰。总损失函数结合了分类的均方误差损失和一个鼓励二值化层中聚类中心学习的K-means聚类损失。
6. 自动规则提取: 得益于“硬”推理和层次化的网络设计,模型训练完成后,可以通过反向追踪权重为1的连接,自动、高效地提取出具体的、人类可读的STL规则。过程为:从线性层中识别对特定类别重要的规则节点,回溯到逻辑层确定其由哪些子公式通过合取/析取构成,再回溯到时序逻辑层确定具体的时序算子、涉及的谓词索引以及学习到的时间区间边界,最后回溯到二值化层确定原子谓词的具体数值边界。
三、 主要实验结果与分析 研究在八个来自医疗、金融、公共安全等安全关键领域的公开基准数据集上进行了广泛的实验,与六种先进的基于规则的方法进行了比较,包括字典方法(BOP, SAX-VSM)、Shapelet方法(ST, LS)以及神经符号模型(RRL, NSTSC)。
1. 整体分类精度: 实验结果表明,TemporalRule在所有八个数据集上均取得了最佳或具有竞争力的分类准确率(具体数据参见原文表3)。尤为突出的是,在Epilepsy2、NerveDamage、GunPointOvy等数据集上达到了100%或接近100%的准确率。这证明,通过学习符合人类直觉的时序逻辑规则,不仅能提供解释,还能主动引导神经网络定位关键时间区间、生成高级特征,从而获得卓越的分类性能。与最接近的神经符号基线NSTSC相比,TemporalRule的显著优势验证了其自适应学习时间区间边界(而非独立点权重)和引入更丰富时序算子(特别是“直到”)的有效性。
2. 消融实验分析: 为验证各模块贡献,研究进行了系统的消融实验: * 数据特征:移除周期图谱视图(-xp)、导数视图(-xd)或统计特征(-bs)均会导致在所有数据集上性能下降,证实了多视图数据表示和多特征整合对于适应多样化时间序列的重要性。例如,在Epilepsy2数据集上移除周期图谱视图性能下降明显,凸显了频域特征对癫痫检测的关键作用。 * 时序逻辑公式:分别移除单谓词算子(-rare)、双谓词“直到”算子(-runtil)以及二级复合算子(-rea, -rae)。结果发现,全面的算子集对于识别不同类型的时序属性至关重要。例如,在ECG200数据集上移除“直到”算子导致性能显著下降,表明该算子在捕捉细微时序关联(如心电图中T波倒置模式)方面不可或缺。在SharePriceIncrease数据集上移除“最终-始终”算子导致大幅性能损失,因为该算子能有效刻画股票市场中“趋势跟随”现象(趋势一旦开始,会持续一段时间)。
3. 可解释性分析: 研究以ECG200(心电图分类)和GunPoint(动作分类)数据集为例,展示了模型提取的规则及其可解释性。 * 对于ECG200的“心肌缺血”类别,TemporalRule学习到的规则是:𝜓1 U_[22,27] 𝜓2,其中𝜓1为导数小于0.16,𝜓2为导数在0.41到0.91之间。这可以解释为:“在时间点22到27之间,心电图信号的导数应保持在0.16以下,直到在某个时刻上升到0.41至0.91之间。” 这精确对应了临床医学中诊断心肌梗死的关键指征——T波倒置的动态过程,规则简洁且符合医学直觉。 * 对于GunPoint的“指向”类别,规则为:^_[96,113] 𝜓,其中𝜓为原始信号小于-0.604。意为:“在时间点96到113之间,手部位置信号至少有一次低于-0.604。” 这恰好对应了“指向”动作中手臂伸展后可能出现的“过冲”现象。 相比之下,基线模型RRL和NSTSC生成的规则是冗长的、基于孤立时间点谓词的合取或析取列表,可读性差,需要复杂的后处理才能转化为区间描述。TemporalRule直接输出基于连续区间的、符合STL语义的简洁规则,提供了实例级和类别级的双重解释,清晰展示了分类决策的依据。
四、 研究结论与价值 本研究成功提出并验证了TemporalRule模型,首次通过神经网络学习到了与模型实际决策过程完全一致、且符合人类直观理解的时序逻辑规则,用于可解释时间序列分类。其科学价值在于:1)在方法论上,创新性地通过直接学习时间区间边界来建模时序属性的连续性,并引入了“直到”等复杂时序算子,推动了神经符号推理在时序数据上的发展;2)在可解释性上,实现了规则与模型内部执行的严格对齐,提供了可靠且直观的决策依据,增强了在安全关键场景中用户对AI模型的信任。应用价值则体现在为医疗诊断、金融分析、工业监测等领域提供了既高性能又高透明度的时序数据分析工具。
五、 研究亮点 1. 可靠性突破:首次通过梯度嫁接和硬推理策略,确保了从神经网络中提取的时序逻辑规则与模型分类决策过程的完全一致性,解决了现有方法中规则与决策脱节的核心问题。 2. 直观性设计:摒弃了独立学习点权重的传统方式,开创性地通过自适应学习时间区间边界来间接确定点权重,使学到的时序属性天然具有连续性,更符合人类认知。 3. 表达能力增强:首次在时间序列分类的规则学习模型中成功引入并实现了双谓词“直到”算子及二级复合时序算子,显著提升了模型刻画复杂时序模式和相关性的能力。 4. 性能与可解释性兼得:实验证明,追求强可解释性的设计并未牺牲性能,反而通过引导模型关注有意义的时序模式,在多个基准数据集上取得了超越现有规则方法的分类精度。 5. 端到端的规则提取:模型结构支持从训练好的网络中自动、高效地提取出人类可读的STL规则,无需复杂后处理,实现了真正的内在可解释性。
六、 其他有价值内容 研究还讨论了模型的时间/空间计算复杂度与时间序列长度呈线性关系,优于基于决策树的基线方法(NSTSC)可能存在的指数级复杂度,展现了其处理大规模数据的潜力。作者指出未来工作将探索更具表达力的时序逻辑子集,并将模型扩展到多变量时间序列分类任务中。