关于《语言模型近似LIKE谓词的研究》的学术报告

本文介绍了一项由哈尔滨工业大学（中国）的李英泽、王栋、王梓轩、严宇、耿健、王欣月、曾子晴、王宏志以及香港中文大学（深圳）的周颖莉共同完成的研究。该研究成果以论文《The Case for Language Model Approximated LIKE Predicate》的形式，发表于2026年2月的期刊《Proceedings of the ACM on Management Data》（Proc. ACM Manag. Data）第4卷第1期，文章编号89。

一、 研究背景与目标

本研究属于数据库系统与人工智能交叉领域，具体聚焦于数据库查询优化，特别是针对SQL语言中LIKE谓词（模糊匹配谓词）的加速问题。在现代数据库中，LIKE谓词被广泛用于文本数据的模式匹配搜索。然而，当搜索模式（pattern）被通配符（尤其是两端的%）打断时（例如%keyword%），现有的索引结构（如B+树）效率会急剧下降，最坏情况下需要执行复杂度为O(N×ℓ)的全表扫描（其中N为表大小，ℓ为平均字符串长度），导致查询性能低下。传统的n-gram（如trigram）索引虽然支持子串搜索，但存在存储开销大、对通配符模式灵活性有限等问题。

近年来，大型语言模型（LLMs）的进展为解决这一问题提供了新思路。LLMs能够基于其强大的上下文理解和补全能力，将复杂的LIKE模式“解码”为一小组候选字符串，然后通过哈希表在O(ℓ)时间内进行验证，从而有望将查询复杂度从与数据规模相关降至常数级，极大提升效率。然而，直接将LLMs集成到数据库系统中面临巨大挑战：高延迟（LLM生成响应需秒级，远超数据库毫秒级需求）、巨大的存储开销（数百GB甚至TB级）以及对数据分布漂移的敏感性（数据库数据动态变化，而微调LLMs成本高昂）。

基于上述背景，本研究旨在探索一种更经济、高效的替代方案。研究团队观察到，单个数据库列中的字符分布可以视为一种独特的、词汇组合有限的“语言”。因此，他们提出核心假设：能否利用轻量级的小型语言模型（SLM）来学习这种特定于列的字符联合概率分布，从而在保留LLMs解码LIKE模式功能的同时，克服其庞大体量和开销带来的障碍？为此，本研究的目标是设计并实现一个名为SMILE（Small Language Model Integrated LIKE Engine）的系统，验证其作为LIKE谓词神经翻译器的有效性、效率及可扩展性。

二、 研究流程与方法

本研究遵循了一套严谨的“问题分析-方案设计-理论构建-实验验证”的工作流程。

1. 问题形式化与可行性探索 首先，研究团队将LIKE谓词优化问题重新定义为神经机器翻译任务。他们将LIKE模式视为源语言，将数据库中匹配的字符串集合视为目标语言。模型M的目标是学习一个翻译函数：p → A” ⊆ A，使得A”中的字符串既匹配模式p，又具有高概率Pr(s | p)。这种“生成-验证”范式将执行模式从昂贵的线性扫描转变为高效的常数时间候选集生成与哈希验证。

接着，他们系统地评估了直接使用现有大型语言模型（LLMs）作为“即用”解决方案的可行性。实验评估了包括Qwen、GLM、DeepSeek在内的8个开源LLM（参数量从1.5B到671B）在两个真实数据集（TPC-H, IMDB）和两类模拟真实查询的工作负载（W1: 音节掩码，W2: 词素掩码）上的表现。评估指标包括召回率（Recall）和解码的计算成本（延迟、存储）。结果表明：虽然LLM展现了一定的解码能力（在TPC-H上最优召回率约0.8），但其性能存在天花板，且严重受限于分布不匹配（LLM的通用知识与数据库特定列分布不一致）和惊人的计算开销（顶级模型推理延迟接近全表扫描，存储需求远超数据库本身）。这证实了直接使用通用LLM不切实际，从而强有力地论证了开发专用、轻量级解决方案的必要性。

2. SMILE系统设计与实现 基于LLM评估的教训，研究团队提出了SMILE系统，其核心是一个参数量仅为16MB的字符级小型语言模型（SLM）。SMILE的工作流程分为离线和在线两个阶段：

• 离线准备阶段：

  • 工作负载准备：从目标列A中采样字符串，并通过向其注入通配符（模拟%和_）来生成大量的<模式p_i, 原字符串s_i>训练对。这构成了SLM的监督训练数据。
  • 模型训练：采用编码器-解码器Transformer架构作为SLM。编码器将变长的LIKE模式编码为隐藏表示；解码器以自回归方式生成目标字符串。训练使用教师强制（teacher forcing）和交叉熵损失，目标是让模型学会根据通配符模式生成该列中可能存在的原始字符串。此过程使模型内化了该列特定的数据分布先验。
  • 分类器训练：同时训练一个轻量级（6MB）的二进制分类器，用于在查询时根据模式预测其结果的基数（cardinality）。这用于路由查询：将高基数（如LIKE ‘%’）查询直接交给数据库执行，而只对低基数查询启用SMILE加速。

• 在线翻译与验证阶段：

  • 查询路由：对于输入的LIKE查询，首先使用基数分类器判断其是否为低基数查询。
  • SLM翻译：对于低基数查询，使用训练好的SLM对模式进行解码。为了生成多样化的候选集（而非单一结果），SMILE采用了温度退火采样策略。该策略通过调整“温度”参数来控制采样分布的平滑度，从而在探索（生成多样候选）和利用（选择高概率候选）之间取得平衡。算法并行生成K个候选字符串。
  • 哈希验证：将SLM生成的候选字符串在O(ℓ)时间内通过哈希表进行快速验证，仅保留确实存在于数据库中的字符串作为最终结果返回。

3. 理论框架构建 为了从原理上理解SMILE方法的有效性并为系统设计提供指导，研究团队建立了一个概率近似保证的理论框架。 * 他们引入了模式熵（Pattern Entropy） 的概念，用于量化一个LIKE模式的固有生成复杂度。模式熵基于模式中通配符的数量和位置，计算了所有可能匹配字符串空间的对数大小。 * 基于模型信息容量和任务复杂度之间的关系假设，他们推导出了定理5.2。该定理形式化地给出了：对于一个给定复杂度（熵）的查询工作负载，为了以高置信度检索至少K个正确结果，所需从模型中采样的次数n的下界。该理论建立了模型容量、查询结构和采样性能之间的原则性联系，为确定采样预算和评估模型规模需求提供了理论依据。

4. 扩展性讨论 研究还探讨了SMILE方法对长文本列的扩展性。直接生成长字符串会导致熵剧增和推理成本线性增长。为此，团队提出了一种混合策略：将SMILE重新定位为前缀引导的查询重写器。SLM不再生成完整字符串，而是生成一个固定长度、高选择性的前缀。随后，此前缀可用于查询标准的B+树索引（例如，将LIKE ‘%keyword%’转换为高效的LIKE ‘prefix%’查找）。这种方法既降低了生成任务的熵，又将推理成本与字符串长度解耦。

三、 主要实验结果

研究团队在六个不同数据集（TPC-H, IMDB, Wiki, Reddit, RedPajama, Newsroom）和四类工作负载（W1, W2为基于真实查询分析的音节/词素掩码模式；W3, W4为来自基准测试和高难度的模式）上进行了全面实验，对比了SMILE与多种基线方法，包括：前缀/后缀B+树、顺序扫描、GIST索引、GIN索引（精确与近似）、以及多个大型LLM（Qwen2.5-7B/32B, DeepSeek-V2.5/V3）。

1. 效率评估： * 延迟：SMILE在检索延迟上表现卓越。相比trigram索引（GIN），它实现了1.8倍至41.6倍的加速；相比B+树和全表扫描，分别快了两个和三个数量级。即使与最强的LLM（DeepSeek-V3）相比，SMILE也快了三个数量级。 * 成本：通过硬件租赁成本归一化（$/百万次查询）进行公平比较。在大规模复杂数据集（如IMDB, TPC-H）上，SMILE的成本效益比所有基线方法都高一到两个数量级。虽然在极小的数据集上，高度优化的GIN索引成本略优，但SMILE在大规模任务中展现了无与伦比的经济性。

2. 质量评估： * 召回率：SMILE在所有数据集和工作负载上 consistently 实现了高于0.9的召回率。这显著优于LLMs（后者在复杂模式W3/W4上召回率可降至0.1以下），并与能保证100%召回但速度慢的确定性索引（如GIN精确模式）的质量接近。而近似索引（GIN(apx)）的召回率则不稳定，在某些查询模板上会崩溃至接近零。

3. 可扩展性评估： * 空间开销：SMILE模型仅需约16MB存储，比大型LLM小3到5个数量级，比传统索引（GIN, GIST, B+树）平均节省23倍至82倍的空间。 * 构建时间：在大型数据集上，SMILE的训练/构建时间与GIN索引相当，并比GIST快5倍。 * 推理扩展性：延迟随采样预算线性增长，在合理采样数下（如64）仍能保持亚毫秒到毫秒级响应。所需采样数以近似线性的方式随查询结果基数增长，与理论预测相符。 * 处理长文本：通过前缀重写混合策略，SMILE能够有效处理长达数千字符的文本列，突破了以往深度学习方法通常只处理短文本（<500字符）的限制。

4. 端到端性能： 在包含复杂连接和聚合操作的TPC-H和IMDB-Job基准测试的真实查询上，SMILE将端到端查询延迟提升了1.18倍至9.51倍，同时保持了超过95%的召回率，证明了其在完整查询工作负载中的实用价值。

5. 鲁棒性验证： 实验表明，当数据分布发生漂移时，SMILE可以通过从新数据分布中采样并进行轻量级微调来快速适应，更新成本极低。此外，其分类器对于未见过的查询模板也具有良好的泛化能力。

四、 研究结论与价值

本研究成功论证并实现了一种全新的、基于轻量级专用语言模型的LIKE谓词近似优化范式。核心结论是：通过放弃通用大型语言模型（LLMs），转而采用针对特定数据列分布定制训练的小型语言模型（SMILE），可以在保证高召回率（>0.9） 的前提下，实现数量级的速度提升和成本下降，同时解决LLMs带来的延迟、存储和适应性难题。

其科学价值在于： 1. 提出了新的优化框架：将LIKE谓词评估重新定义为序列到序列的翻译任务，从根本上改变了执行范式。 2. 建立了理论连接：通过引入模式熵和推导采样复杂度定理，为基于模型的近似查询处理提供了概率保证和理论分析工具。 3. 验证了“小而专”的可行性：证明了针对特定数据库工作负载定制微型模型（参数量减少5个数量级）不仅能满足功能需求，而且在性能和效率上远超通用大模型。

其应用价值巨大： 1. 为数据库系统提供了一种实用的、高效的LIKE加速组件：SMILE以极小的存储和计算开销，显著优化了交互式应用（如数据清洗、基数估计器维护、信息抽取）中复杂模糊匹配查询的体验。 2. 展示了AI与数据库系统融合的新路径：不是简单嵌入巨型AI模型，而是根据数据库查询的特定语义和数据结构，设计深度集成的、轻量级的神经组件。 3. 方法具有通用性：其核心思想可扩展至正则表达式匹配、模糊连接等其它字符串处理任务的优化。

五、 研究亮点

1. 问题洞察新颖：敏锐地指出了LLMs用于数据库查询优化的根本矛盾（通用性负担 vs. 专业化需求），并提出了极具针对性的解决方案。
2. 方法设计精巧：SMILE系统融合了多个巧妙设计：字符级Transformer模型、温度退火采样生成、基数感知查询路由、哈希验证，以及用于处理长文本的前缀重写混合策略，形成了一个高效、完整的系统。
3. 实验全面严谨：评估覆盖了从可行性分析（LLM基准测试）、有效性验证（多数据集多负载）、可扩展性测试（规模、长度、成本）到鲁棒性检验的全方位实验，并与广泛的基线进行了对比，结论令人信服。
4. 理论结合实践：不仅提出了工程系统，还构建了理论框架（模式熵、采样定理）来解释和指导系统行为，提升了工作的学术深度。
5. 成果显著：以极小的模型（16MB）实现了相比传统方法数个数量级的加速和相比大型LLM数个数量级的成本节约，同时保持高质量结果，性能提升非常突出。

六、 其他有价值内容

本研究还包含了对84,047个真实生产环境LIKE查询的大规模分析（见附录），这为设计具有代表性的基准工作负载提供了坚实基础，确保了实验的实用性。此外，论文详细讨论了将SMILE作为查询重写器集成到复杂分析查询中的潜力，将其视为一种特殊形式的近似查询处理（AQP），并在TPC-H和IMDB-Job查询上进行了初步验证，展示了更广阔的应用前景。所有源代码和附录均已公开，促进了研究的可复现性。