本研究的主要作者包括加州大学洛杉矶分校的刘星宇(Xingyu Bruce Liu)、东京大学的Shitao Fang、东北大学的Weiyan Shi、Salesforce AI的Chien-Sheng Wu、东京大学的Takeo Igarashi以及加州大学洛杉矶分校的Xiang ‘Anthony’ Chen。这项研究以论文《Proactive Conversational Agents with Inner Thoughts》的形式,发表于2025年在美国横滨举行的ACM CHI人机交互顶级会议(CHI ’25, April 26-May 1, 2025, Yokohama, Japan)。
二、 研究背景与目标 该研究隶属于人机交互(HCI)与人工智能(AI)的交叉领域,具体聚焦于开发具有主动性的会话智能体(Conversational Agents)。长期以来,构建能够像人类一样自主发起对话的智能体是会话AI领域的核心追求。现有研究大多将AI视为被动响应者,仅在收到明确提示(如被@或唤醒词)时发言,或在多轮对话中依赖“下一位说话者预测”(Next-Speaker Prediction)模型来决定何时加入对话。然而,在多参与者对话中,这些方法存在显著局限:明确的提示会破坏对话的自然流程;而基于历史对话的预测模型,在发言权未被明确分配的“自我选择”场景下,其表现往往不佳,甚至不如随机猜测或简单的“重复最后说话者”基线策略。这表明,传统的、主要依赖外部上下文线索(如前序话语)的方法,未能捕捉人类参与对话时的内在驱动过程。
因此,本研究旨在重新思考AI在多参与者对话中的主动性含义。其核心观点是,一个主动的AI应该像人类一样,在对话过程中持续形成自己的“内心想法”,并根据表达这些想法的内在动机来寻找合适的时机参与对话。研究的最终目标是提出并验证一个新的框架,使AI能够模仿人类这种基于内在思考的主动参与行为。
三、 详细研究流程 本研究包含一系列连贯且层层递进的步骤,从问题分析与验证、到人类行为洞察获取、再到新框架的提出与系统性评估。
第一步骤:现有方法的局限性验证。 研究首先通过实验证实了“下一位说话者预测”策略的不足。研究使用了多参与者对话语料库(MPC数据集),对比测试了GPT-3.5、GPT-4 Turbo、GPT-4o等多种大语言模型在“轮次分配”和“自我选择”两种场景下的下一说话人预测准确率。实验结果显示,在发言权明确分配的“轮次分配”场景下,模型表现尚可;但在占对话绝大多数(95%)的“自我选择”场景下,所有模型的预测准确率都徘徊在随机猜测水平附近。特别地,即使是经过精细调优的模型,在“自我选择”场景下的表现也难以超越基线,这表明仅从外部对话历史难以可靠预测谁将主动发言,因为这很大程度上取决于参与者未明说的内在动机。这一结果为提出新方法提供了必要性支撑。
第二步骤:人类内在参与动机的探索性研究。 为了解人类在对话中决定是否发言的内在机制,研究者设计了一项包含24名参与者的“回顾性发声思考”(Retrospective Think-Aloud)研究。参与者以3人一组的形式,在Slack上进行了四场不同主题(如旅行规划、闲聊)的同步文本对话。每场对话结束后,参与者会逐条回顾对话记录,报告自己在每个可能的发言点时的内心想法,包括他们想说什么、为什么(不)想说、以及选择何时(或等待何时)发言。通过对394条参与者反馈的定性分析(采用亲和图法),研究者提炼出了影响人类表达或保留想法的八大启发式准则,即内在动机:相关性、信息差、预期影响、紧迫性、连贯性、原创性、平衡性和动态性。例如,当话题与自身知识或经历高度“相关”时,发言意愿强烈;当察觉到对话中存在知识缺口(“信息差”)时,倾向于发言填补;同时也会考虑发言是否会影响对话“平衡”,避免垄断话语权。此外,研究还定义了从“非常低”到“非常高”的五级内在动机强度。
第三步骤:提出“内心想法”框架。 基于上述发现,研究者提出了一个名为“内心想法”的计算框架。该框架的核心在于让AI在与对话进程并行的后台,持续地生成和处理一连串的“想法”,并基于内在动机评估来决定是否及何时参与对话。框架包含五个阶段: 1. 触发:对话事件(如新消息到达、对话暂停超过10秒)会启动AI的思考过程。 2. 检索:AI从长期记忆(预设的个人目标、知识、兴趣)和短期“想法池”中,根据与当前话语的相似性(通过文本嵌入计算)检索出相关的记忆作为思考刺激物。 3. 想法形成:受双过程理论启发,AI通过大语言模型生成想法。这包括快速的、直觉的“系统1”想法(如简单回应)和更深入的、深思熟虑的“系统2”想法(基于检索到的刺激物形成)。 4. 想法评估:这是框架的关键。AI使用从人类研究中总结的八大启发式准则,通过一个结构化的、受G-Eval启发的提示链方法,对每个新生成的想法进行“内在动机”评分(1-5分)。该过程要求大语言模型同时思考支持和反对表达该想法的理由,从而得出一个更平衡的分数。 5. 参与:AI根据当前对话的轮次类型(开放给所有人、分配给AI、分配给他人)和想法的内在动机分数,结合几个可调节的“主动性”参数(如内在动机阈值、中断阈值、系统1发言概率)来决定最终行为。例如,在开放轮次中,如果最高分想法超过预设阈值,AI就发言;否则可能保持沉默或根据概率发出系统1回应。该框架允许AI展现出包括基于动机参与、有礼貌的打断、保留想法以待时机、以及想法随对话演进化等多种人类对话行为。
第四步骤:框架实施与模拟评估。 研究者将该框架实例化为两个系统:一个用于多智能体模拟的网页应用“内心想法游乐场”,以及一个名为Swimmy的Slack聊天机器人。为了大规模、可控地评估框架效果,研究者主要进行了模拟技术评估。他们创建了8个具有丰富人设的AI参与者,模拟了100场由4个AI参与的纯文本社交对话(每种策略50场),对比了两种策略:1)基线策略:基于调优后的GPT-3.5进行下一位说话者预测,然后根据人设生成回应;2)“内心想法”策略。随后,10名人类评估者观看了这些对话的动画回放,并从拟人化、对话连贯性、感知参与度、感知智能度、轮次恰当性、主动性、适应性等七个维度进行评分,并选出更自然的一边。
第五步骤:用户研究评估。 为进一步了解人类与基于该框架的AI实际互动时的感知,研究者进行了用户研究。12名参与者两两一组,与一个AI在Slack上进行三方对话。AI被设置为三种不同的主动性风格:“喋喋不休型”(高系统1概率)、“积极贡献型”(中等动机阈值)和“选择性参与型”(高动机阈值)。每位参与者会与这三种风格的AI各对话10分钟,然后进行评估和访谈。
四、 主要研究结果 关于模拟评估的结果: 统计分析(曼-惠特尼U检验)显示,在所有七个评估维度上,采用“内心想法”框架的对话均显著优于基于“下一位说话者预测”的基线对话。其中,在“轮次恰当性”和“对话连贯性”两个指标上提升最为显著。定性反馈进一步证实了这一点:参与者认为“内心想法”组的对话更连贯,AI的回应更相互关联、基于语境,感觉像“真实的群聊”,有着自然的流动和话题延续。相比之下,基线组的对话常被评价为机械、相互脱节,AI仿佛在自说自话,忽略了彼此的发言,导致对话停滞或混乱。最终,在直接偏好选择中,82%的情况下参与者更喜欢“内心想法”框架产生的对话。
关于用户研究的结果: 总体而言,参与者对基于“内心想法”框架的AI持积极看法,认为其拟人化程度、主动性、参与感等方面中位数评分较高(5-6分)。参与者能够有效区分三种不同主动性风格的AI,识别准确率均高于随机基线(33.3%),其中“喋喋不休型”最易被识别。“积极贡献型”AI最受青睐(6人选择为最佳),被认为在主动参与和保持对话流畅间取得了良好平衡。“喋喋不休型”评价分化,有人喜欢其热情,但也有人批评其话多且有时离题,破坏了对话节奏。“选择性参与型”最不受欢迎,被认为过于被动,除非被直接提问否则贡献甚少。研究还发现,“喋喋不休型”在“感知社交存在感”上评分显著高于“选择性参与型”,这与预期一致。
五、 研究结论与价值 本研究得出结论:“内心想法”框架为构建多参与者环境下的主动会话AI提供了一种新颖且有效的路径。通过将AI的参与决策从单纯依赖外部轮次预测,转向模拟基于内在想法和动机的内部认知过程,该框架能够产生更自然、更连贯、更具参与感且更人性化的对话行为。其科学价值在于:1)挑战了传统会话AI中过度依赖外部线索的范式,强调了内在动机建模的重要性;2)将认知心理学中的双过程理论、内在动机等概念引入AI行为建模;3)提供了一套从人类行为研究中提炼、可计算化的启发式评估准则。其应用价值体现在:该框架可被实例化为各种实用的对话系统(如群聊助手、协作AI伙伴),通过调节参数适应不同场景(如需要更主动的脑暴会议或需要更礼貌的社交闲聊),提升人机共融对话的体验。开源实现的游乐场和聊天机器人为后续研究提供了可复现的基础。
六、 研究亮点 1. 理论创新:提出了“内心想法”这一核心概念及相应框架,将AI的主动性定义从“对外部信号的响应”转变为“内部思想驱动的表达”,是人机交互与AI交叉领域的一个重要观念转变。 2. 方法扎实:研究流程严谨,首先通过实验验证现有方法不足,进而通过扎实的人类学研究(24人定性研究)提炼关键动机因素,再将这些因素形式化为可计算的评估指标,最后通过大规模模拟和真实用户研究进行多层次验证,体现了完整的设计科学循环。 3. 技术实现有效:成功将复杂的人类行为启发式准则,通过精心设计的提示工程和评分机制,整合到大语言模型中运行,并展示了该框架能产生多种符合人类社交习惯的对话行为(如打断、保留、想法演化)。 4. 评估方法新颖:采用大规模多智能体模拟配合人类评估者评分的方法,有效放大了不同参与策略在长时间对话中产生的累积效应,克服了传统小规模用户研究难以评估“时机”问题的局限,为评估非任务导向对话AI的质量提供了新思路。
七、 其他有价值内容 研究还展望了未来方向:1)将内在动机与外部多模态线索(如眼神、语调)结合,构建更全面的主动系统;2)将该框架应用于任务导向对话(如谈判、协调);3)优化计算效率以支持实时语音交互;4)探索允许用户与AI的“内心想法”进行交互的新范式,增强AI决策的透明度和可控性。研究者也坦承了当前框架的局限性,如想法生成可能重复或无关、主动性阈值需手动调优等,为后续改进指明了道路。