本文档题为《KG-RAG: Enhancing GUI Agent Decision-making via Knowledge Graph-Driven Retrieval-Augmented Generation》，发表于2025年自然语言处理经验方法会议（EMNLP 2025），页码为5396至5405。该研究由华为香港研究中心与香港大学、香港城市大学、西安电子科技大学等机构的研究人员合作完成，主要作者包括Ziyi Guan、Jason Chun Lok Li、Zhijian Hou等，通讯作者为Yuzhi Zhao。
近年来，基于大语言模型（Large Language Models, LLMs）的图形用户界面（Graphical User Interface, GUI）智能体在移动应用交互与导航方面取得了显著进展。然而，由于缺乏应用特定知识（app-specific knowledge），这些智能体在面对不熟悉的用户界面（User Interface, UI）和非传统的导航逻辑时，仍难以高效完成复杂任务。例如，一个“隐私政策”页面可能深藏在“关于应用”的多层菜单之下，即使对人类用户而言也需摸索才能找到。
为解决这一问题，研究者此前提出了UI转换图（UI Transition Graphs, UTGs）作为应用导航流程的结构化表示。UTG理论上能够为智能体提供导航线索，但实际应用中存在两大障碍：一是从应用中提取的图质量低下，二是这些图难以高效集成到实时决策过程中。现有方法如AutoDroid虽然在离线阶段构建了UTG，但在在线执行时并未充分将其用于快速知识检索。其他先进方法如Mobile-Agent-V2和UI-Tars则侧重于协作智能体或端到端学习，同样未显式利用结构化知识图谱进行决策。
针对上述局限，本研究提出了KG-RAG框架，旨在将碎片化的UTG转化为结构化向量数据库，通过意图引导的LLM搜索方法生成可操作的导航路径，从而增强智能体的决策能力。研究还构建了面向中文移动生态系统的两个基准测试集——KG-Android-Bench和KG-Harmony-Bench，以填补现有评测资源的空白。
KG-RAG的整体架构包含三个核心阶段：UTG提取、离线路径发现、以及在线知识图谱增强执行。以下对各阶段进行详细阐述。
UTG提取阶段基于DroidBot的方法论进行了显著改造，研究者开发了专门的提取工具XTester（App Test Executor Use Case Execution Framework）。XTester能够系统性地导航移动应用界面，识别可交互的UI组件，并记录它们之间的交互关系。输出结果为分层JSON格式的结构化知识图谱，涵盖应用元数据（如产品ID、应用名称、包名）、UI组件描述、屏幕描述以及与特定控件相关联的可操作交互（如滑动手势、文本输入、按钮点击）。
对于来自DroidTask的较简单的英文应用，XTester对每应用进行1小时自动探索即可捕获几乎所有相关内容。而对于研究者专门构建的30个较复杂的中文应用，则进行了长达8小时的深度探索，以确保对复杂UI状态和交互的全面覆盖。这种严格的提取方法为后续构建高质量向量嵌入奠定了基础。
离线路径发现是KG-RAG的核心创新，由意图生成模块和LLM搜索模块两部分组成。
意图生成模块首先利用视觉语言模型（Vision-Language Model, VLM）分析UTG中的截图节点，为每个应用屏幕自动推断合理的用户意图。随后，经过指令微调的LLM将每个高层意图分解为结构化的中间里程碑（intermediate milestones）序列。这些里程碑代表增量式的、明确定义的子目标，引导智能体完成复杂的UI交互，有效减少歧义并防止任务提前终止。
LLM轨迹评分模块接收候选轨迹集合，为每条轨迹分配粗粒度和细粒度评分。具体而言，对于具有m个里程碑的用户意图，LLM被提示预测候选轨迹完成0至m个里程碑的可能性。研究者通过提取LLM输出中与里程碑完成预测相对应的logits，并在相关logits索引上应用softmax操作，获得里程碑完成计数的概率分布。该分布中最高概率对应的里程碑数即为轨迹的进度得分（progress score）。此外，研究者还计算邻近度得分（proximity score），用于衡量LLM概率分布与理想的单调递减序列之间的对齐程度，该得分在进度得分相近的候选之间起决胜作用。
基于上述评分指标，研究者采用广度优先搜索（Breadth-First Search, BFS）探索UTG以寻找高质量轨迹。BFS以给定步长增量式扩展路径，使用LLM批量评分新候选轨迹。未达到最低里程碑完成阈值的轨迹被提前剪枝，将计算资源集中于有前景的路径。这种批量BFS策略在全面探索与效率之间取得平衡：允许对多条路径进行并行LLM评估，并将搜索深度限制在max_depth内。最终，通过摘要模块将每条UI操作序列压缩为简洁描述，存储于知识库中以供在线使用。
在线执行阶段，KG-RAG智能体利用离线生成的意图-轨迹对的向量数据库进行快速检索。向量数据库的每个条目为键值对：键为离线发现的意图的高维嵌入，值为对应的轨迹（即实现该意图的UI操作序列）。研究者使用文本嵌入模型将每条意图（连同其轨迹）编码为向量，构建优化用于快速相似度搜索的导航知识库。
执行时，用户当前的任务指令被编码为查询向量，与存储的意图向量进行余弦相似度比较。智能体检索top-k最相似的意图-轨迹条目，每条检索到的轨迹作为上下文知识，为智能体提供经过验证的导航路径。例如，若用户需要“展示美股基金”信息，智能体将检索存储的对应轨迹，获得到达股票基金内容所需的UI操作序列。通过遵循这些检索到的轨迹，KG-RAG增强的智能体可快速导航至目标状态，而无需依赖试错探索。
研究者构建了KG-Android-Bench和KG-Harmony-Bench两个跨平台基准测试集。KG-Android-Bench包含30个主流中文应用的300个任务，涵盖10个功能类别（音乐与音频、视频与娱乐、社交与通讯、导航与出行、电子商务与零售、餐饮服务、健康与生活方式、新闻与阅读、生产力工具、照片与视频编辑），显著超越DroidTask的162个任务和AndroidLab的138个任务。KG-Harmony-Bench则包含HarmonyOS设备上的150个跨平台任务，覆盖15个应用类别。两个基准测试集均将意图-动作映射与UTG衍生的图记忆相耦合，支持对深度嵌套、多步骤目标的评测，并强调跨平台鲁棒性。
在DroidTask基准测试上，KG-RAG使用GPT-4后端时，平均成功率达75.8%，较AutoDroid的66.9%提升8.9个百分点；决策准确率为84.6%，较76.5%提升8.1个百分点；平均任务步数从4.49降至4.10。逐应用分析显示，KG-RAG在几乎所有单个应用上均取得一致提升，例如Gallery应用成功率从40.0%升至60.0%，Voice Recorder从80%升至90%，Dialer决策准确率从93.3%升至100%。使用Qwen2-VL-72B后端时，KG-RAG同样在全部指标上优于AutoDroid（成功率62.8%→70.5%，决策准确率71.6%→80.2%，平均步数8.7→7.9）。
将KG-RAG集成到MobileAgent-V2后，在不同感知模型和决策模型组合下均取得显著提升。例如，MobileAgent-V2使用VUT感知模型和GPT-4o决策模型时，集成KG-RAG后成功率从50.0%升至60.0%，决策准确率从60.0%升至70.0%，平均步数从4.8降至3.2。UI-Tars集成KG-RAG后，决策准确率从90.0%升至100%，平均步数从5.9降至5.2。
在HarmonyOS上，MobileAgent-V2集成KG-RAG后成功率从41.9%升至55.4%，UI-Tars从61.4%升至70.9%，与此前在Android上的结果趋势一致，证明KG-RAG无需平台特定修改即可泛化至不同UI范式。
数据库构建组件消融实验显示，使用Qwen2-VL-72B作为VLM和DeepSeek-14B作为LLM的组合效果最佳，成功率达78.33%，决策准确率82.03%，平均步数4.92。文本嵌入模型比较中，Doubao-Embedding-Text表现最优，成功率达73.90%，决策准确率80.00%，平均步数4.73。
将基于移动端构建的KG-RAG数据库无需再训练直接迁移至非移动GUI，微博网页端成功率从50.0%跃升至90.0%（提升40个百分点），QQ音乐桌面端从60.0%升至80.0%。跨设备测试显示在低端到旗舰设备及HarmonyOS上均保持稳定提升。UGT构建成本消融表明，准确率在每复杂应用约4小时提取时达到饱和，为大规模实际部署提供了可行的成本上限。
KG-RAG通过充分利用UTG中的结构化知识，有效解决了现有GUI智能体无法充分利用应用特定知识的局限性。其意图引导的离线路径发现算法将不完整的UTG转化为结构化向量嵌入，构建了鲁棒的导航知识数据库，在实时决策中提供预计算的导航路径，显著提高了任务成功率并减少了执行步数。
在科学价值方面，KG-RAG提出了一种新颖的知识图谱驱动检索增强生成范式，将离线图处理与在线检索增强决策相结合，为GUI智能体领域提供了可泛化的结构化记忆机制。其即插即用特性使得该框架能够无缝集成到不同智能体架构中，展现了广泛的适用性。
在应用价值方面，KG-RAG在中文移动生态系统中的优异表现，以及向网页端和桌面端的成功迁移，证明了其在真实应用场景中的实用潜力。两个新基准测试集的构建也为未来GUI智能体研究提供了更全面、更贴近真实使用场景的评测工具。
本研究的突出贡献包括：提出将碎片化UTG转化为结构化向量数据库的完整流水线；设计意图引导的LLM搜索算法以在低质量图上发现高质量导航路径；构建面向中文移动生态的KG-Android-Bench和KG-Harmony-Bench两个跨平台基准测试集；通过严格评测证明KG-RAG作为即插即用模块可显著提升多种现有智能体的性能；以及证明了约4小时UGT提取时间即可实现性能饱和，为实际部署提供了成本效率方面的指导。