本文是由Davide Cacciarelli（来自丹麦技术大学应用数学与计算机科学系和挪威科技大学数学科学系）与Murat Kulahci（来自丹麦技术大学应用数学与计算机科学系和瑞典吕勒奥理工大学商业管理、技术与社会科学系）共同撰写的题为《Active Learning for Data Streams: A Survey》的综述性文章，发表于《machine learning》期刊2024年第113卷上，其在线发表日期为2023年11月20日。这篇综述系统性地回顾和梳理了面向数据流的在线主动学习（Online Active Learning）这一领域的最新研究进展、主要方法、评估策略、应用挑战以及未来方向。
主动学习（Active Learning）是机器学习中的一个重要范式，其核心目标是通过有策略地选择最具信息量的数据点进行人工标注，从而在有限的标注预算下最大化模型的性能提升。传统主动学习研究多集中于静态池式（pool-based）场景，即从一个固定的、封闭的无标注数据池中选择样本。然而，随着物联网、传感器网络和在线服务的发展，数据以持续、高速的流（Data Stream）形式涌现，这使得传统方法不再适用。数据流的动态性、时序性、潜在无限性以及可能存在的概念漂移（Concept Drift）等特性，催生了在线主动学习或基于流的主动学习（Stream-based Active Learning）这一专门研究方向。尽管已有关于池式主动学习的综述，但针对在线变体的综合性综述却相对匮乏。Lughofer (2017)曾对基于模糊模型的在线主动学习做过回顾，但近年来该领域涌现了大量新方法。此外，现有的关于数据流学习的综述大多假设所有数据的标签都是完全可用的，这与许多现实应用中标签获取昂贵、费时的实际情况不符。因此，本文旨在填补这一空白，为研究者和从业者提供一个关于在线主动学习查询策略的全面概览。
文章的主体内容围绕以下几个方面展开：
第一，在线主动学习的核心挑战与关键属性。 文章首先界定了在线主动学习面临的五个核心研究问题，构成了方法设计和评估的框架：1）查询策略：在流式环境下，应采用何种采样策略以最大化学习效率？2）查询时机：应在何时、以何种频率查询数据点，以平衡学习需求和资源限制？3）模型更新：预测模型应在何时更新？如何使其适应数据分布变化和概念漂移？4）可扩展性：如何使主动学习方法能够高效处理高速数据流？5）评估：评估流式主动学习算法性能的合适指标是什么？同时，文章详细阐述了设计在线主动学习策略时必须考虑的关键属性，包括数据处理方式（单次通过Single-pass vs. 基于窗口Window-based）、数据流分布假设（平稳Stationary vs. 漂移Drifting）、标签延迟（Label Delay）以及模型训练效率（增量训练Incremental Training vs. 完全重训练Complete Re-training）。这些属性直接影响算法的设计和性能。
第二，主动学习的理论基础与场景划分。 文章在“引言”和“预备知识”部分回顾了主动学习的基本原理。它以减少有监督学习中对大量标注数据的依赖为出发点，通过选择最具信息量的观测值进行标注来优化模型。文中列举了多种实例选择标准，包括：基于不确定性的查询（如靠近分类边界的样本）、期望误差/方差最小化、期望模型变化最大化、基于分歧的查询（如查询委员会Query by Committee）、基于多样性和密度的方法（如使用聚类或马氏距离选择代表性样本）以及混合策略。此外，文章将主动学习划分为三大宏观场景：1）成员查询合成主动学习：学习器可以请求输入空间中任意点或合成点的标签，但可能生成人类无法标注的样本。2）池式主动学习：从一个静态的无标注数据池中选择最有价值的子集进行标注，这是被研究最广泛的场景。3）在线主动学习：在数据点以流的形式连续到达时实时决定是否查询其标签，这是本文的核心关注点。文章还探讨了主动学习与半监督学习（Semi-supervised Learning）之间的联系，指出两者都处理标签稀缺问题，且可以结合使用以改进数据选择策略，例如通过无监督预处理、包装方法（如自训练、协同训练）或基于图的方法来利用未标注数据的信息。
第三，在线主动学习方法的详细分类与评述。 这是本文的核心部分（第3节）。作者提出了一个清晰的分类法，将现有的在线主动学习方法归为四大类，并对每一类别的代表性工作进行了深入分析和比较：
平稳数据流分类方法：这类方法假设数据流分布基本稳定，无需处理概念漂移。早期开创性工作如Cesa-Bianchi等人提出的选择性采样感知器，通过一个与预测边际（margin）绝对值相关的伯努利分布概率来决定是否查询标签，边际越小（越不确定），查询概率越高。后续研究在此基础上进行了诸多扩展：Sculley比较了感知器和支持向量机（SVM），并引入了逻辑边际采样；Lu等人提出了在线被动-攻击性主动学习变体，使用更激进的模型更新策略；Hao等人引入了二阶信息（模型参数的置信度）来缓解模型早期性能不佳时的“冷启动”问题；Qin和Ferdowsi等人研究了类别不平衡下的采样策略。除了单模型方法，文章还介绍了基于委员会或专家建议的方法。例如，Huang等人和Desalvo等人提出了基于分歧的在线主动学习框架，通过维护一个假设空间版本，仅查询落在假设分歧区域内的样本；Loy等人和Mohamad等人利用贝叶斯框架（如狄利克雷过程混合模型）来平衡探索（发现新类）和利用（细化已知类决策边界）；Hao等人和Chae等人则将在线主动学习与专家建议及多核学习相结合，通过比较多个专家或核函数的预测差异来决定是否查询。
漂移数据流分类方法：这类方法专门设计用于处理数据分布随时间变化（概念漂移）的动态环境。文章首先区分了概念漂移的类型（如协变量偏移、真实概念漂移）和变化速率（如突变、渐变、增量、循环概念）。核心思路是将主动学习策略与漂移检测器结合。Krawczyk等人和Zhang等人提出通用框架，当检测器（如ADWIN）发出警告或检测到漂移时，动态调高查询率，以快速收集新概念下的标注数据来更新或替换模型。Castellani等人和Pham等人进一步考虑了标签延迟问题，提出了“遗忘与模拟”等策略来避免使用过时信息和冗余查询。另一类主流方法是基于窗口或批次的集成学习。Zhu等人将数据流分块，用不同数据块训练集成中的分类器，通过查询集成方差最大的样本来进行主动学习。Shan等人和Zhang等人则发展了成对分类器策略，同时使用一个从所有历史标注数据学习的“稳定分类器”和多个从近期数据学习的“动态分类器”构成集成，通过权重调整来适应不同类型的漂移。此外，还有研究采用聚类方法（如Halder等人、Ienco等人）来确保从每个数据块中选择具有信息性和代表性的样本。
演化模糊系统方法：这类方法基于能够随时间适应和变化的模糊系统。传统的模糊系统规则和隶属函数是固定的，而演化模糊系统能够根据新数据或环境变化调整其规则和隶属函数。这在环境非平稳且持续演化的应用中（如自动驾驶控制系统）非常有用。文章提到Lughofer (2017)的综述专门聚焦于此，而本文因其自2017年以来相关新方法不多，未作深入展开。
实验设计与老虎机方法：这类方法主要与回归模型相关，其核心是主动选择最具信息量的数据点以改进模型预测。它包括在线主动线性回归和顺序决策策略，如老虎机（Bandits）算法或强化学习。这些方法能够根据当前情境自适应地选择最有希望的选项（如在线广告中选择最有潜力的广告进行展示、在临床试验中选择最合适的病人入组）。文章提到，这类方法在主动学习的大框架下探讨何时以及如何查询，以实现对回归模型参数的更高效估计。
第四，评估策略、应用与未来方向。 文章在第4、5、6节分别探讨了这些重要方面。关于评估策略，指出需要设计合适的指标来衡量在线主动学习算法的性能，不仅要考虑最终的预测准确性，还要考虑标注成本、算法效率以及对概念漂变的适应速度。关于实际应用，文章列举了多个领域，包括工业过程控制（如质量预测、预测性维护）、视频流分析、临床试验、文本分类（如情感分析）、欺诈检测、在线客服和市场营销等，说明了在线主动学习在现实世界中的广泛需求和价值。最后，文章总结了现有方法的共同特点，并指明了未来研究潜在方向，例如：开发更鲁棒、高效的漂移检测与自适应机制；设计能更好地处理极端类别不平衡和高维数据的策略；探索在线主动学习与新兴学习范式（如元学习、自监督学习）的结合；建立更标准化、更全面的基准测试和评估协议；以及解决在实际部署中面临的隐私、安全、计算资源限制等系统工程挑战。
本文的重要价值与意义在于：首先，它首次对在线主动学习这一快速增长但缺乏系统梳理的子领域进行了全面、结构化的综述，明确了其核心问题、方法分类和关键挑战，为后续研究者提供了清晰的研究地图和入门指南。其次，文章不仅回顾了经典算法，还涵盖了近期的最新进展（截至2023年），反映了该领域的最新动态。再者，通过详细对比不同类别方法的优缺点、适用场景以及内在联系，文章有助于研究者和实践者根据具体应用需求（如数据是否平稳、标签延迟长短、计算资源限制）选择合适的算法。最后，文章提出的研究问题框架和未来方向，对推动在线主动学习领域的理论发展和技术创新具有重要的指导作用。这篇综述是机器学习、数据流挖掘和高效数据标注交叉领域的一份重要参考文献。