基于大语言模型的场景化GUI测试新框架：ScenGen全面研究报告
本研究由Shengcheng Yu（德国慕尼黑工业大学）、Yuchen Ling、Chunrong Fang（通讯作者）、Quan Zhou、Yi Zhao、Zhenyu Chen（均来自中国南京大学计算机软件新技术国家重点实验室）、Chunyang Chen（德国慕尼黑工业大学）以及Shaomin Zhu（同济大学）共同完成。该研究成果以论文《LLM-guided scenario-based GUI testing》的形式发表于《ACM Transactions on Software Engineering and Methodology》（TOSEM）期刊，刊出时间为2025年1月。
本研究属于软件工程领域的软件测试与调试范畴，具体聚焦于移动应用图形用户界面自动化测试。随着移动设备和应用的爆炸式增长，确保应用GUI的质量变得至关重要，因为GUI是用户与应用交互的主要界面。尽管学术界和工业界已开发出多种自动化GUI测试方法，例如基于随机、模型或学习的策略，但这些方法普遍存在一个根本性缺陷：它们与应用程序底层的业务逻辑之间存在巨大鸿沟。现有方法多侧重于广泛的、无目标的界面探索以最大化代码覆盖率，而非完成具有特定业务含义的“测试场景”。这导致它们常常错过对关键功能路径的覆盖，生成的测试序列往往碎片化、缺乏语义连贯性，无法模拟真实用户为完成特定目标（如登录、购物下单）而执行的一系列连贯操作。
手动测试过程则恰恰相反，测试人员以业务逻辑驱动的“测试场景”作为基本测试单元。受此启发，本研究旨在利用大型语言模型理解GUI界面所表达的语义信息及其与给定测试场景的上下文关联能力，来弥合上述鸿沟。研究的具体目标是提出并实现一种新颖的、基于LLM引导的场景化GUI测试框架，该框架能够模拟人工测试的认知过程，自动生成语义连贯、逻辑完整且与高层业务目标高度相关的GUI测试序列。
为实现上述目标，本研究提出了名为ScenGen的创新框架。该框架的设计灵感来源于经典的OODA（观察、定向、决策、执行）决策循环模型，并将其具体化为一个由五个智能体通过多智能体协作机制驱动的迭代测试过程。这五个智能体分别是：观察者、决策者、执行者、监督者和记录者，它们共享一个上下文记忆模块。研究共设计了99个测试任务，涉及10个代表性测试场景（如登录、购物、记笔记、计算等）和92个真实移动应用，进行了全面评估。
工作流程的核心步骤如下：
1. 上下文记忆模块构建： 由于LLM本身是无状态的，无法在多次交互间保持上下文，这对于多步GUI测试至关重要。因此，研究设计了一个结构化的上下文记忆，分为长期记忆（存储设备配置、应用元数据、测试场景描述）、工作记忆（存储动态信息如当前测试目标、已执行操作历史）和短期记忆（存储当前及前一GUI状态截图、控件识别结果）。该模块通过感知哈希和结构相似性度量进行GUI状态比较，以避免重复探索，是支撑整个框架迭代推理的认知基础。
2. 观察者智能体的GUI感知： 观察者的任务是准确感知和理解当前应用GUI状态。研究面临的关键挑战是：传统计算机视觉（CV）技术能精确定位控件但缺乏语义理解，而LLM擅长推理却难以进行细粒度的像素级定位。为此，ScenGen采用了混合感知设计。 - 第一步：视觉与文本提取。 首先，使用传统CV算法从GUI截图中识别并定位潜在的GUI控件。同时，应用光学字符识别算法从同一截图中提取所有文本元素。 - 第二步：结果融合与过滤。 将CV检测到的控件和OCR提取的文本进行融合。基于空间邻近度合并相邻文本片段，排除不合理的检测（如状态栏图标、重复区域、过大或过小的噪声），并根据预设距离阈值将相关的图形和文本控件合并为统一的交互实体。 - 第三步：语义解释。 调用多模态大语言模型（本研究中为GPT-4V）对融合后的GUI状态进行语义解释。LLM分析视觉布局和文本线索，推断出各个控件的角色和关系（例如，识别导航按钮、输入框、功能图标）。最终，所有识别出的控件以带有ID的边界框形式标注在原始截图上，并将标注图、结构化控件列表和原始图像一并存入短期记忆。
3. 决策者智能体的推理与规划： 决策者是框架的“大脑”，负责根据当前GUI状态、历史操作和目标测试场景，决定下一步要执行的操作。其决策过程分为两个阶段，以弥合LLM的认知与具体执行的差距： - 逻辑决策阶段： 多模态LLM接收动作类型集、目标场景描述、已执行操作列表和当前GUI图像，通过推理输出一个抽象的“下一步操作”。该操作描述包括动作类型（点击、输入、滚动等）、动作意图的自然语言描述、目标控件的描述性文本、输入文本（针对输入动作）和滚动方向。 - 目标控件定位阶段： 将逻辑决策输出的抽象目标描述与观察者提供的带标注的GUI图像进行匹配，由LLM识别出具体的目标控件ID。对于识别结果中缺失或模糊的控件，框架引入了控件预测机制，根据附近已识别控件的相对位置和空间关系估算最可能的位置。对于输入动作，还会进行控件位置调整，确保点击焦点落在实际的可交互区域（如文本框）而非其标签上。当操作未能产生预期状态转换时，会触发自我校正机制，分析错误原因（逻辑错误、控件定位错误或前提条件缺失）并在相应对话上下文中请求LLM重新推理，生成调整后的计划。
4. 执行者与记录者智能体的操作与记录： 执行者是一个规则化模块，负责解析决策者输出的结构化操作指令，并通过系统级接口（如Android ADB命令）在设备上精确执行相应的GUI交互（点击、输入文本、滚动等）。输入操作被执行为两步：先点击聚焦输入框，再输入文本。这一设计将不确定的LLM推理与确定性的执行分离，防止错误传播。记录者则负责将每次执行的操作、GUI状态、系统响应以及运行时日志（用于监测崩溃或异常）记录到上下文记忆的工作记忆中，确保测试过程的可追溯性和可复现性，并为后续迭代提供知识基础。
5. 监督者智能体的验证与反馈： 监督者负责在每次操作执行后验证应用状态是否符合预期，是保证测试逻辑连贯性的关键。它采用三级验证机制： - 实时加载验证： 利用多模态LLM动态分析当前GUI图像，判断应用是否处于加载或过渡状态（如出现加载旋转图标），从而自适应调整等待时间，避免在应用不稳定时做出错误决策。 - 状态转换验证： 在确认应用稳定后，监督者调用LLM，比较当前GUI与前一GUI截图，结合刚刚执行的操作和目标场景，验证该操作是否产生了预期的状态变化。如果验证失败，会进一步判断是否发生了任何有意义的变化，以区分“操作无效”和“产生了意外副作用”。对于后者，框架会执行上下文回滚（如“返回”操作）。 - 测试完成验证： 在整个测试过程中，监督者实时评估是否已达到当前场景的预期终点。LLM综合目标场景描述、已执行操作列表、当前及前一GUI截图，判断功能目标是否已达成或测试路径已充分覆盖了目标场景。一旦判定完成，则自动终止测试任务。
研究通过五个研究问题对ScenGen进行了全面评估，主要结果如下：
1. 场景化测试生成能力评估： 在99个测试任务中，ScenGen取得了最高的场景覆盖率和成功率。其场景覆盖率高达86.87%，成功率为84.85%，均显著高于基线方法GPTDroid、Scentest和ASOT。这表明ScenGen能够更可靠地生成完整覆盖目标业务场景的测试序列，且异常终止的情况更少。失败案例分析显示，主要问题源于过早终止、完成检测不准确、对特定应用设计模式适应性不足、控件定位误差以及处理非典型用户流程的灵活性有限，为进一步优化指明了方向。
2. 缺陷检测能力评估： 在与多种传统及场景化测试工具的对比中，ScenGen在目标测试场景内检测到的缺陷总数最高。重要的是，所有基线工具检测到的缺陷，ScenGen均能检测到，且未发现任何ScenGen未检测到的独特缺陷。这证明了其探索的全面性。ScenGen的优势在于：LLM的语义理解能帮助打开隐藏菜单，触及更深层的交互路径；生成的测试序列更长、逻辑更连贯，能触发仅在多步依赖交互后才显现的复杂缺陷；多智能体协作确保了错误操作能被实时纠正，保持了测试的连贯性。
3. 控件定位有效性评估： 评估了混合感知策略中控件匹配与定位的准确性。在十个场景的312次定位尝试中，初始定位准确率平均为80.79%。经过自我校正机制后，最终定位准确率平均提升至97.76%，在多个场景中达到100%。这强有力地证明了CV与LLM结合、辅以自我校正的策略，能够有效处理动态布局和视觉模糊的挑战，实现高精度的控件交互。
4. 逻辑决策有效性评估： 评估了决策者生成合理操作的能力。在总共408次决策中，初始决策准确率平均为96.08%，最终决策准确率（经自我校正后）平均为97.06%。对错误决策的分析显示，错误主要源于过早终止、冗余继续、控件语义误解和前提条件缺失。自我校正机制成功纠正了其中部分错误，展示了框架的适应性。
5. 测试生成效率评估： 从令牌消耗和时间开销两方面评估效率。令牌消耗分析显示，开销与场景复杂性正相关，最耗令牌的阶段是GUI状态验证和测试完成验证，这符合其需要进行多页面视觉比较和语义推理的特点。时间开销方面，ScenGen生成单个测试场景所需的平均时间（4.71分钟）虽高于高度优化的Scentest，但显著低于其他LLM驱动的基线方法（如ASOT的10.38分钟和GPTDroid的7.48分钟），在推理能力和执行效率间取得了良好平衡。
本研究得出结论：ScenGen框架通过集成多模态大语言模型的语义理解能力与多智能体协作机制，成功地将自动化GUI测试从低层次的事件探索，提升到了高层次、以业务场景为导向的智能化测试新范式。该框架能够理解GUI的语义、在测试场景的上下文中进行推理、生成连贯的用户操作序列，并具备实时验证和自适应校正能力。
其科学价值在于：首次系统性地提出并实现了一个完整的、LLM引导的多智能体场景化GUI测试架构，为解决自动化测试与业务逻辑脱节这一长期挑战提供了创新性方案。它推动了自动化测试向更接近人类测试员思维方式的“类人推理”方向发展。
其应用价值显著：ScenGen能够生成与真实用户行为高度契合的测试用例，更有效地覆盖核心业务功能，检测到更深层、更复杂的缺陷，从而提升移动应用质量保障的效率和效果。研究提供的复制包和详细实现细节，有助于推动该方向在学术界和工业界的进一步研究与应用。
ScenGen代表了自动化GUI测试领域一个重要的前沿方向，为利用先进AI技术提升软件测试的智能化水平提供了极具价值的范本和实践基础。