本文报告了一项原创性研究，题为“通过模型级联策略优化边缘智能的计算资源”，作者包括来自西班牙德乌斯托大学Deustotech及工程学院的Oihane Gómez-Carmona、Diego Casado-Mansilla、Diego López-de-Ipiña（IEEE会员）和Javier García-Zubia（IEEE高级会员）。该研究发表于*IEEE Internet of Things Journal*，在线发表日期为2021年10月8日，当前版本日期为2022年5月9日。
这项研究处于物联网（Internet of Things, IoT）、边缘计算（Edge Computing）和机器学习（Machine Learning, ML）的交叉领域，旨在应对一个日益严峻的挑战：随着物联网设备激增和人工智能应用在物联网上的蓬勃发展，传输和处理海量生成数据所需计算资源带来的环境成本也在急剧上升。传统上，物联网生态系统依赖远程云数据中心进行数据分析，这导致了数据传输延迟、隐私风险以及巨大的能源和计算成本。为解决这一问题，边缘计算范式应运而生，它将计算任务推向网络边缘，靠近数据生成的源头。然而，边缘设备通常资源有限（计算能力、存储空间和电池续航），难以部署资源密集型的机器学习模型。因此，优化边缘设备的机器学习应用，在保持可接受精度的前提下显著降低计算复杂度，对于实现物联网解决方案的可持续发展至关重要。本研究的目标正是为此提供一种高效的策略，通过一种创新的模型级联方法来简化边缘智能中的监督学习算法，从而实现计算资源的优化。
研究的详细工作流程分为几个关键步骤。首先，作者提出了一种基于判别模型级联（discriminative model cascade）的集成学习（Ensemble Learning）方法作为核心优化机制。其基本原理是将一个复杂的分类模型拆解为由多个简单到复杂的判别模型组成的级联序列。级联中的每个“层级”对应一个独立的分类器，其复杂程度通过该层级所使用的输入特征数量来定义，层级越高（越靠后），使用的特征越多，模型越复杂。当新的数据实例（如来自传感器的一段连续数据）输入时，系统从最简单的第一级模型开始进行分类。每个层级的模型在做出预测后，会计算一个置信度值，本研究采用多类对数损失（multiclass log loss）作为置信度度量。系统为每个层级设定一个置信度阈值。如果当前层级的预测置信度高于预设阈值（即对数损失值低于阈值），则认为预测可靠，数据实例在此层级完成分类并退出流程。如果置信度低于阈值，则认为预测不确定性较高，该实例将被传递给下一级更复杂的模型进行进一步判别。此过程依次进行，直到数据实例被某一层级的模型“自信地”分类，或者到达最终层级（使用全部特征的最复杂模型）进行强制分类。这种方法的核心优势在于，大多数容易分类的实例会在前几个简单层级就被快速处理，只有少数难以分类的“困难”实例才需要调用计算成本高的复杂模型，从而从整体上大幅降低了分类任务的平均计算负担和时间。
其次，为了探索该方法的最佳训练模式，作者设计并比较了三种新颖的级联训练策略变体，这是本研究的创新点之一。第一种是并行（Parallel）训练：级联中的所有模型都使用全部训练数据进行独立训练，类似于堆叠法（Stacking）但不生成元预测器。第二种是顺序（Sequential）训练：仅第一级模型使用全部数据训练，后续每一级模型只使用前一级模型未能以高置信度分类的那些实例（即“困难”样本）进行训练，这迫使后续模型专注于学习先前模型未覆盖的模式，类似于提升法（Boosting）的思想但推理路径不同。第三种是混合（Hybrid）训练：前两级模型采用并行训练，而最后一级模型采用顺序训练（即使用前两级未分类的实例进行训练），旨在平衡模型的泛化能力和对困难样本的特化能力。
第三，为了评估该方法的有效性与普适性，研究选取了人类活动识别（Human Activity Recognition, HAR）这一典型的边缘计算应用场景作为实验背景。作者使用了四个公开的HAR数据集，并为本研究专门创建了一个新的数据集——办公室饮水习惯识别（Office Hydration Monitoring， OHM）数据集。OHM数据集包含10名受试者对液体容器（如瓶子、杯子）的25种交互动作，共计1000个实例，分为3个主要类别。该数据集的特点在于其高方差和非受控性，更能模拟真实世界场景。实验涵盖了多种经典的监督学习算法，包括逻辑回归（Logistic Regression, LG）、随机森林（Random Forest, RF）、K最近邻（k-Nearest Neighbors, KNN）、高斯朴素贝叶斯（Gaussian Naive Bayes, NB）、线性支持向量机（Linear SVM）和多层感知器（Multilayer Perceptron, MLP），以验证方法对不同算法的适用性。
第四，在具体的级联配置上，研究固定了一个三层级联结构进行统一评估：第一级模型仅使用10个最重要特征（通过Chi2特征选择法选取），第二级模型使用50个特征，第三级（最终）模型使用全部基线特征。置信度阈值设定为两个固定值（t1=0.15， t2=0.40），对所有数据集和算法保持一致，以专注于评估策略本身而非参数调优的影响。
第五，性能评估分为两部分。首先是在分类准确性方面的评估：采用分层五折交叉验证，比较三种级联变体、作为基准的单一复杂参考模型（使用全部特征）以及堆叠集成方法在宏加权F1分数上的表现。其次是在计算效率方面的评估：将选定的最佳级联策略（平行训练）部署在四个真实的资源受限边缘设备上——NVIDIA Jetson Nano、Raspberry Pi 4、Raspberry Pi 3和Raspberry Pi Zero，并以一台笔记本电脑作为参考。实验测量了在OHM数据集上分类200个新实例所需的总处理时间（包括数据过滤、分割、特征计算、归一化和推理），并与单一参考模型的耗时进行对比。
研究取得了多项重要结果。在分类性能方面，平均而言，单一的复杂参考模型取得了最好的F1分数。然而，三种模型级联变体的性能下降平均仅为3.42%（标准差0.81%），且优于堆叠方法（平均下降4.69%，标准差3.8%）。更重要的是，级联方法成功地将平均83.88%的数据实例在前两个简单层级（使用10个和50个特征）就完成了分类。这表明，级联策略以极小的精度损失（约3.5%），换取了将绝大多数分类任务卸载到低复杂度模型上的巨大潜力。
通过帕累托多目标优化分析，作者进一步在“分类准确性”和“在简单层级分类的实例比例”之间寻找最佳平衡点。分析结果表明，并行训练策略在大多数情况下提供了最优或接近最优的权衡。因此，选择并行训练策略进行后续的计算效率实验。
计算效率实验的结果令人印象深刻。在所有测试的边缘设备上，与单一的参考模型相比，并行级联策略平均减少了超过60%的分类处理时间。具体而言，在笔记本电脑、Jetson Nano、树莓派4、树莓派3和树莓派Zero上，平均时间改善分别为61.67%、64.93%、60.56%、60%和62.31%。这种效率提升与算法相关，那些能够在级联早期分类更多实例的算法（如朴素贝叶斯、MLP）获得了更大的时间节省。即使是对随机森林这种本身推理较慢的算法，级联策略也带来了明显的性能改善。
本研究的结论是，所提出的判别模型级联策略是一种有效且实用的方法，能够在不显著牺牲分类准确性的前提下，大幅优化资源受限边缘设备上机器学习分类任务的执行效率。该方法通过将复杂模型分解为适应性级联，实现了计算负载与数据实例分类难度的动态匹配，从而减少了总体处理时间、降低了能耗，并增强了边缘智能系统的可扩展性和响应能力。这为在物联网边缘部署更复杂、更可持续的人工智能应用铺平了道路。
该研究的亮点和价值主要体现在以下几个方面：第一，方法创新性：提出了三种新颖的模型级联训练策略变体（并行、顺序、混合），并系统性地评估了它们在边缘计算背景下的性能。第二，现实适用性：研究不仅在公开数据集上验证，还创建并使用了更贴近真实场景的OHM数据集，并在多种真实的、流行的低成本边缘硬件平台上进行了实证性能测试，增强了结论的可信度和实用价值。第三，显著的优化效果：实验量化地证明了该策略能够以约3.5%的精度损失，换取超过60%的计算时间节省，并且使超过80%的实例由简单模型处理，这一权衡对于资源受限的边缘环境极具吸引力。第四，广泛的算法兼容性：研究涵盖了从概率模型到距离度量模型等多种经典机器学习算法，证明了该级联框架具有较好的通用性和算法无关性。第五，重要的可持续性意义：研究明确将计算效率的提升与环境成本（能源消耗）的降低联系起来，强调了发展高效人工智能技术对于构建可持续数字未来的重要性，呼应了绿色计算和边缘智能的核心理念。
此外，研究也指出了未来的工作方向，例如将级联模型的不同层级部署在异构的边缘设备网络中形成协同计算架构，或者将最简单的模型进一步下沉到终端设备（如微控制器）上执行，以及在实际的在线分类场景中进行部署和测试。这些方向为进一步释放该策略的潜力提供了清晰的路线图。