加速支持张量机的顺序安全静态和动态筛选规则

在数据获取技术的不断发展下，获取大量包含多种特征的高维数据已经变得十分容易，比如图像、视觉等。然而，传统的机器学习方法尤其是基于向量和矩阵的方法，面临着维度灾难、计算复杂度增加以及模型过拟合等挑战。为了解决这些问题，张量作为一种多维数组表示方式，比向量和矩阵更具灵活性，能够更好地处理高维数据。因此，基于张量的机器学习方法逐渐成为学术研究的焦点。

支持张量机 (Support Tensor Machine, STM) 是一种有效的张量分类策略，受到支持向量机 (Support Vector Machine, SVM) 和交替投影技术以及多线性代数操作的启发。STM 旨在处理复杂的张量数据，通过寻找具有最大间隔的两类分类超平面，在分类任务中表现出优异的性能。尽管最近基于不同张量分解方法的一系列改进版支持张量机已经被提出，如高秩支持张量机 (HSTM)、支持Tucker机 (STUM)、支持张量火车机 (STTM) 等，传统的 STM 在寻求准确率的同时具有较短的计算时间。然而，对于大规模问题来说，实现高效的支持张量机仍然是一个重大挑战，因为它需要通过反复迭代来解决类似于 SVM 的子模型，这使得解决大规模问题变得困难。

由山东师范大学商学院的 Hongmei Wang、齐鲁工业大学（山东科学院）数学与人工智能学院的 Kun Jiang、中国农业大学信息与电气工程学院的 Xiao Li 以及中国农业大学理学院的 Yitian Xu 共同撰写的文章《Sequential Safe Static and Dynamic Screening Rule for Accelerating Support Tensor Machine》旨在解决上述问题。该研究提出了一种高效的顺序安全静态和动态筛选规则（Sequential Safe Static and Dynamic Screening Rule, SS-SDSR），以加速 STM。该论文将发表在 Neural Networks 杂志上。

研究背景与意义

随着数据获取技术的逐步进步，获取包含大量特征的高维数据变得越来越容易，如图像和视觉数据。然而，传统的基于向量和矩阵的机器学习方法可能面临维度灾难、计算复杂度增加和模型过拟合等挑战。为了解决这些问题，张量作为比向量和矩阵更灵活的数据表示方式，提供了一种更有效的处理高维数据的方法。因此，基于张量的机器学习方法成为了重要的学术研究领域之一。

支持张量机 (STM) 是一种有效的张量分类策略，源于支持向量机 (SVM) 及其交替投影技术和多线性代数操作。STM 旨在通过寻找具有最大间隔的分类超平面来处理复杂的张量数据，并在分类任务中表现出色。然而，传统的 STM 采用交替投影迭代技术，这非常耗时。为了克服这一缺点，该研究提出了一种高效的顺序安全静态和动态筛选规则 (SS-SDSR) 来加速 STM。其主要思想是在不牺牲准确性的前提下，通过在训练过程之前和期间识别并删除冗余变量来缩减每个投影子的模型。

研究来源

这篇论文由山东师范大学商学院的 Hongmei Wang、齐鲁工业大学（山东科学院）数学与人工智能学院的 Kun Jiang、中国农业大学信息与电气工程学院的 Xiao Li 以及中国农业大学理学院的 Yitian Xu 共同撰写。文章将发表在 Neural Networks 杂志上。该研究接收日期为2023年10月25日，修订日期为2024年3月31日，接受日期为2024年5月21日。

研究流程

研究工作流

该研究提出了一种顺序安全静态和动态筛选规则 (SS-SDSR) 来加速 STM。其主要包含以下步骤：

1. 静态筛选规则 (SSR)：基于变分不等式 (variational inequality, VI) 构建静态筛选规则，用于在训练前筛选出大部分冗余特征/样本。
2. 动态筛选规则 (DSR)：基于对偶间隙 (duality gap) 构建动态筛选规则，用于在训练过程中持续筛选冗余特征/样本。
3. 顺序筛选过程：结合 SSR 和 DSR，在每个参数调整过程中，首先使用 SSR 筛选出大部分无用变量，然后使用 DSR 在训练过程中进一步筛选冗余变量。

在实验部分，研究团队通过人工数据集进行实验，以验证不同参数间隔、筛选频率和数据形式对方法有效性的影响。实验结果表明，无论数据形式如何，当参数间隔较小且筛选频率适当时，该方法都能有效工作。此外，还对十一组向量数据集和六组张量数据集进行了数值实验，并将结果与其他五种算法进行了比较。实验结果显示，该方法在效率和安全性上均优于其他算法。

主要结果

静态筛选规则 (SSR)

通过变差不等式，研究团队为 STM 构建了静态筛选规则。SSR 可以在训练前筛选掉大部分冗余变量，这样可以减少问题的规模，从而加快其解决过程。

动态筛选规则 (DSR)

基于对偶间隙，研究团队提出了动态筛选规则。DSR 能够在训练过程中持续筛选冗余变量，并将其嵌入求解算法。实验中，该方法能有效加速模型训练过程， 且筛选效果显著。

实验结果

在向量数据集上，该方法在保持原有算法准确性的基础上，显著减少了训练时间。例如，在spambase数据集上，SS-SDSR比原始的STM算法快2.35倍，而在 htru数据集上，加速效果更是达到 3.02 倍。

在张量数据集上，SS-SDSR的表现也非常优异。对于 mnist 数据集，该方法在相同准确率的情况下，将训练时间减少至原始 STM 的 ¹⁄₁.35。此外，对六个张量数据集的实验表明，SS-SDSR 能够有效筛选出冗余变量，达到显著的加速效果。

研究结论

研究团队总结了这一方法的优点，认为 SS-SDSR 能够在不牺牲准确性的前提下，通过删除冗余变量，加速支持张量机的训练过程。这为处理大规模张量数据提供了有效的工具，并具备潜在的广泛应用价值。

最后，研究团队指出，尽管 SS-SDSR 被证明在理论和实验上都是优秀的，但在扩展到更复杂的模型以及进一步加速等方面仍有待深入研究。他们未来的研究重点将放在通过构建更多的 SS-SDSR 版本来更好地解决这些问题。

亮点总结

1. 创新点：首次将安全筛选规则扩展到张量空间，加速了支持张量机的训练过程。
2. 理论保证：通过严谨的优化条件和稀疏性理论，保证了方法的安全性和有效性。
3. 实验验证：在多个数据集上进行了验证，证明了该方法的效率和准确性。

研究的这些发现不仅具有重要的科学价值，还在实际应用中提供了新的方法与工具。这篇论文将进一步推动基于张量的机器学习方法的发展，并为解决高维数据问题提供新的思路。研究团队希望未来可以进一步完善这一方法，使其在更复杂的机器学习模型中得到应用。