这份文档是一项发表于CHI ‘25（2025年人机交互计算系统会议）的原创性研究论文，其主要作者包括来自卡耐基梅隆大学的Valerie Chen、Alan Zhu、Ameet Talwalkar，来自加州大学伯克利分校的Sebastian Zhao，来自微软研究院的Hussein Mozannar，以及来自麻省理工学院的David Sontag。该研究题为“需要帮助吗？为编程设计主动式AI助手”，旨在探索并评估基于大型语言模型（Large Language Model， LLM）构建的主动式（proactive）聊天编程助手的设计、实现及其对程序员生产力和用户体验的影响。
该研究的学术背景源于当前AI辅助编程工具的发展现状。以ChatGPT和GitHub Copilot为代表的AI助手已广泛应用于编程任务，但它们主要采用被动式（reactive）或局部的交互模式。被动式聊天助手需要程序员主动提问并提供充分的上下文，这一过程存在负担；而像Copilot这样的代码自动补全工具，其“主动性”仅限于根据光标附近的上下文提供建议，无法从全局视角给出代码修改、调试或功能设计等更宏观的建议。研究者们观察到，如果AI助手能直接访问程序员的工作上下文（如代码文件、终端输出、聊天历史），它就有可能推断出程序员的任务意图，从而主动提供相关建议，实现一种混合主动（mixed-initiative）的交互。这种主动式助手有潜力降低程序员的认知负担，提升工作效率。然而，主动式系统的设计充满挑战，不当的介入时机或不相关的建议会干扰用户，甚至导致负面体验。因此，本研究的目标是设计并实现一个有效的主动式聊天编程助手原型，并通过对照实验，系统性地评估其不同设计元素（如建议时机、集成功能）对程序员生产力和用户体验的具体影响，最终提炼出设计主动式助手的核心原则。
本研究的工作流程详细而系统，主要包括原型设计、对照实验实施和数据分析三大部分。
首先，在原型设计阶段，研究者构建了一个名为“主动式聊天编程助手”的系统，并将其集成在一个基于Web的代码编辑器（扩展自ReaHumaneval平台）中。该系统的核心设计基于五条经过文献综述和前期思考得出的设计考量：（1）支持高效评估：建议应以分层摘要形式呈现，让用户快速判断相关性；（2）支持高效利用：提供便捷的方式让用户将建议集成到代码中；（3）显示上下文相关的建议；（4）纳入用户反馈：根据用户接受或拒绝建议的行为调整后续建议；（5）基于上下文安排建议时机。原型的具体实现包括几个关键组件：交互式界面、建议生成逻辑和时机判定逻辑。交互界面在标准聊天窗口基础上，增加了主动建议的展示区域。每条建议初始显示为一个简短的摘要（如“代码改进：使generate_sales_data更灵活”），用户可以展开查看详细的实现代码和解释。更重要的是，系统提供了“预览”功能，用户点击后，系统会调用LLM（本研究使用GPT-4o）生成一个修改后的代码差异对比图（diff），直观展示应用建议后代码的具体变化，并可选择接受全部或部分修改。此外，用户还可以手动请求建议，或将建议“接受”到聊天历史中以进行后续追问。建议生成模块利用LLM，根据当前的代码、终端输出（用于调试建议）和聊天历史，生成多种类型的建议。这些建议类型（如解释现有代码、脑力激荡新功能、调试、添加单元测试等）是通过分析真实世界编程问答数据集DevGPT归纳得出的。时机判定逻辑则根据用户活动状态（如正在输入代码、处于空闲思考状态、或刚刚运行代码出错）来动态决定何时触发建议，旨在减少对程序员“心流”（flow）状态的干扰。
其次，在实验实施阶段，研究者进行了一项随机对照用户研究，共招募了65名有编程经验的美国高校学生作为参与者。研究采用混合设计：参与者被随机分配到三个不同的主动式助手实验条件之一，同时每位参与者都会在实验中先后体验主动式助手和一个非主动的基线（baseline）助手（类似于无代码上下文的ChatGPT），以进行组内比较。三个实验条件分别是：（1）“建议与预览”（Suggest and Preview）：具备完整功能，包括主动建议和代码预览集成。（2）“仅建议”（Suggest）：具备主动建议功能，但移除了代码预览集成功能，用户需手动复制代码。（3）“持续建议”（Persistent Suggest）：在“仅建议”基础上，修改了参数，如将建议等待时间从20秒缩短至5秒，每次显示的建议数量从3条增至5条，旨在测试更激进、更频繁的主动介入效果。整个研究过程在线异步进行，参与者需要在40分钟内完成两种类型的编程任务：系统构建任务（如扩展一个在线商店类）和陌生包使用任务（如使用NumPy操作数据框）。研究平台记录了所有用户行为数据（代码变更、聊天交互、对建议的点击、展开、复制、预览、接受等操作）。实验结束后，参与者填写了关于使用体验和偏好的问卷调查。
最后，在数据分析阶段，研究者从三个研究问题（RQ）出发，对收集的遥测数据和问卷数据进行了分析。对于生产力（RQ1），主要分析指标是参与者正确通过的子任务（测试用例）数量。对于用户体验（RQ2），主要分析参与者在问卷中对不同助手的偏好评分和定性反馈。对于交互模式（RQ3），则是对用户与主动建议的各种交互行为（展开、复制、预览等）的频率和模式进行细粒度分析。分析方法包括线性模型、ANOVA方差分析以及定性归纳用户反馈。
研究得出了多方面的主要结果，这些结果详细回答了预设的研究问题，并相互印证，共同支撑了最终结论。
关于生产力（RQ1），数据分析显示，与基线非主动助手相比，所有三个主动式助手变体都显著提高了参与者的生产率。“建议与预览”、“仅建议”和“持续建议”条件分别使通过的测试用例数量平均增加了12.1%、18%和11.6%，且统计显著。这表明主动提供建议这一核心机制，无论是否包含预览功能，都能有效帮助程序员完成更多任务。此外，研究还观察到，在主动助手条件下，参与者编写测试用例的比例（33.3%）远高于基线条件（13.3%），表明主动建议可能促进了一种编写更多测试以发现问题的良性循环。
关于用户体验（RQ2），结果呈现出重要的差异性。绝大多数参与者偏好“建议与预览”（80%）和“仅建议”（90%）条件下的主动助手，而非基线助手。然而，在“持续建议”条件下，只有不到一半（47%）的参与者更喜欢主动助手，其偏好率显著低于前两个条件。定性反馈揭示了原因：“持续建议”条件因建议过于频繁，被许多参与者认为“分散注意力”、“烦人”，干扰了他们的工作流程。而前两个条件的参与者则积极评价主动建议能提供他们未曾想到的思路、减少手动提问的负担，并且能根据代码上下文给出更相关、个性化的帮助。用户反馈也指出了主动助手的潜在问题，如建议的相关性不足，以及一些用户对不熟悉的交互方式感到不适应。
关于交互模式（RQ3），细粒度行为分析揭示了不同设计决策的影响。对比“持续建议”和“仅建议”条件发现，虽然“持续建议”下的参与者因建议更多而展开了更多建议，但他们实际复制并使用建议的次数反而更少。这表明过多的建议会导致用户注意力分散，降低建议的利用率。对比“建议与预览”和“仅建议”条件发现，当提供预览功能时，用户在展开建议后，使用预览功能的频率远高于手动复制代码。同时，他们也更频繁地手动请求建议。这说明减轻用户手动集成代码负担的功能（如预览）能改变用户的交互模式，使其更倾向于使用自动化程度更高的操作。此外，对用户“接受”建议类型的分析发现，参与者更倾向于接受“可操作”的建议（如脑力激荡新功能、调试），而较少接受信息性建议（如解释现有代码）。在实验任务背景下，“提高效率和模块化”的建议则最常被拒绝，这提示建议的实用性可能因程序员的具体目标（如快速实现 vs. 代码优化）而异。
基于以上结果，本研究得出了明确的结论：基于大型语言模型的主动式聊天编程助手能够显著提升程序员的生产力，并改善用户体验，但其成功高度依赖于精细的设计。具体而言，主动助手的建议时机必须审慎，过于频繁的介入会损害用户体验；提供将建议直接集成到代码中的能力（如预览和接受更改）能有效提升效率并改变用户行为；建议的内容需要与编程上下文高度相关且多样化。研究证实了其最初提出的五项设计考量（高效评估、高效利用、上下文相关、纳入反馈、时机判定）的有效性，并通过用户反馈进一步扩展了三条新的设计考量：允许用户控制助手的主动程度（如开关或频率调节）、在生成建议时纳入更广泛的用户行为上下文、以及灵活调整所显示的信息量。
本研究的价值和意义体现在理论与实践两个层面。在科学价值上，它首次对主动式聊天编程助手进行了系统性的设计和实证评估，填补了该领域的研究空白，为未来人机交互和AI辅助编程的研究提供了重要的基线、方法论和设计框架。研究揭示了混合主动交互中的微妙平衡，特别是生产力增益与用户体验之间的潜在张力，这对理解人类与AI协同工作的动态机制具有贡献。在应用价值上，研究结果为AI工具开发者（如GitHub Copilot、Cursor等的团队）提供了直接、可操作的设计指南，指出了将被动聊天助手升级为主动助手的关键功能点和需要避免的陷阱，有助于推动下一代更智能、更流畅的编程辅助工具的发展。
本研究的亮点突出。首先，研究问题具有前瞻性和实用性，针对了当前AI编程工具演进的核心方向。其次，研究方法的严谨性值得称道：它并非简单的功能演示，而是构建了功能完整的原型，并设计了包含多个变量、有基线对照的随机实验，同时结合了定量（生产力指标）和定性（用户体验、交互行为）分析，使得结论扎实可信。再次，研究发现的“生产力普遍提升但用户体验因设计而异”的结论，以及关于建议时机和集成功能对交互模式影响的洞察，都具有重要的新颖性和启发性。最后，研究不仅验证了初始的设计假设，还通过用户反馈衍生出新的设计考量，体现了以用户为中心的设计迭代思想，为后续研究指明了方向。
此外，论文还讨论了研究的局限性（如任务类型、参与者样本、实验环境与真实IDE的差异等）和未来工作方向（如在更长上下文、与其他工具如Copilot共存、减少模型幻觉等方面的改进），展现了研究的全面性和开放性。这项研究为将主动性智能更有效、更人性化地融入人类工作流程，迈出了坚实而关键的一步。