本文为类型a,即单一原创研究报告。以下为该研究的学术报告。
本研究由wanqing hu、rushi gong、sisi wu与yanyan li合作完成,其中四位作者均来自中国的一所重点大学。通讯作者为yanyan li。该论文发表在国际学术期刊《education tech research dev》上,发表日期为2025年7月14日,刊载于该期刊第73卷,页码3341至3372。
本研究属于教育技术与计算机支持的协作学习(Computer-Supported Collaborative Learning, CSCL)领域,重点探讨如何利用生成式人工智能与对话代理(Conversational Agent, CA)为在线协作学习提供自适应支架。已有研究表明,在在线协作写作中,学生常面临认知与社交情感方面的多重挑战,需要认知、元认知与社会三类支架支持。以往支架多由教师通过诊断与支持两步提供,但教师难以同时监控所有小组。研究者虽已尝试利用对话代理实现自动化支持,然而现有系统诊断数据来源单一,且难以同时提供三类支架。同时,生成式人工智能虽语言能力强大,但存在学生过度依赖与“AI幻觉”(AI hallucination)等风险,而检索增强生成(Retrieval-Augmented Generation, RAG)技术有望通过外部知识库控制生成内容,提高输出可靠性。基于此,研究团队以权变教学模型(Contingent Teaching Model, CTM)为理论基础,设计并开发了名为collabot的对话代理,旨在通过整合小组对话、写作行为与写作内容等多源数据,为在线协作写作小组实时提供认知、元认知与社会支架。
研究采用随机对照实验设计(Randomized Controlled Trial, RCT),共招募78名本科生,其中男性8名、女性70名。所有参与者被随机分为实验组与对照组,每组各39人,以三人小组形式开展协作写作任务。实验前,研究者通过诊断性英语写作测试与协作文态度量表确认两组在写作水平与协作态度方面无显著差异。实验组使用嵌入collabot的写作平台,对照组使用带有任务脚本(task scripts)的同一平台。整个实验流程持续130分钟,分为实验前、实验与实验后三个阶段。在实验阶段,学生需在70分钟内协作完成一篇250至350词的议论文。实验后,所有学生再次填写写作自我效能感量表,实验组学生另参加焦点小组访谈。两位专家依据写作内容、组织结构与语言三个维度对小组作文评分,评分者相关系数为.91。
collabot系统的核心由诊断模块与支架模块组成。诊断模块实时采集学生的写作行为、写作内容与对话数据,并存储于MySQL关系数据库中。其中行为分析实时计算每位学生的聊天消息频率、写作字数及其是否积极参与写作;文本分析则基于学生发言识别情绪状态,并利用sentence-bert模型检测学生向collabot提问的意图。当关键事件被触发时,支架模块根据预设规则匹配支架内容。具体而言,元认知支架包括计划、监控、调节与反思四个子类,用于提醒学生按时完成阶段性写作任务;社会支架包括认可、鼓励与打破沉默三个子类,用于营造和谐氛围;认知支架包括提示与引导两个子类。元认知与社会支架采用检索式模型提供预定义内容,而认知支架则在学生主动提问后,通过RAG方法动态整合领域知识、支架策略、学生小组作文与提问内容,生成教育提示词并输入大语言模型spark,从而生成个性化的认知支架。系统设计中,为防止学生过度依赖,collabot被设定为首先提供较为笼统的提示类支架,当学生仍不能解决时才提供更具体的引导类支架。
数据分析方面,学生的学习表现由小组作文得分(占70%)与个人参与度(占30%)加权计算,个人参与度依据个人贡献字数、修改字数与讨论次数除以小组总量计算。由于数据不符合正态分布,组间差异采用Mann–Whitney U检验,组内前后差异采用Wilcoxon符号秩检验。访谈数据采用主题分析法,提炼出三个主题与14个子主题。
研究结果显示,实验组学习表现(均值69.77,标准差5.90)显著高于对照组(均值65.19,标准差9.00),Mann–Whitney U检验结果U=557.00,p=.04,效应量|r|=.58。这表明collabot相比任务脚本更能有效提升学生的协作写作表现。研究者认为,collabot的优势在于其支架的多样性与自适应性,以及RAG技术对生成内容的控制。在写作自我效能感方面,实验组与对照组的前测与后测均无显著差异。但组内比较发现,两组学生的写作自我效能感均有显著提升,实验组Z=4.62,p=.00,效应量r=.73;对照组Z=4.52,p=.00,效应量r=.76。在三个子维度中,实验组在自我调节维度的提升效应量最大(r=1.02),其次为规范(r=.42)与构思(r=.35)。这一发现与先前关于任务脚本与生成式人工智能促进自我效能的研究相呼应,并进一步拓展至协作学习情境。
访谈分析表明,学生对collabot的感知呈现两面性。在积极方面,35名学生认为collabot帮助了时间管理,24名学生认为促进了自我调节,18名学生认可其在小组调节中的作用,另有18名学生提到写作能力提升、17名学生提及氛围调节、14名学生提及创意激发、13名学生提及小组意识增强、12名学生获得语言支持。这些结果部分解释了collabot提升学习表现的原因。在消极方面,18名学生反映collabot的反馈有时含糊不清,难以据此修改;10名学生表示collabot带来的提醒造成了焦虑感;10名学生遇到识别错误问题;4名学生指出collabot曾给出逻辑矛盾的建议。研究者解释,含糊反馈部分源于collabot刻意的提示策略,旨在促使学生独立思考和组内讨论;逻辑矛盾则源于生成式人工智能模型固有的输出不确定性。此外,26名学生就现功能提出改进建议,如将字数提醒改为可视化计数;8名学生提出功能扩展建议,如增加弹窗、提示音或语音功能。
研究结论认为,collabot有效提升了学生的协作写作表现与写作自我效能感,证明了基于权变教学模型的生成式对话代理在协作学习中的潜力。其系统架构与支架框架具有良好的可迁移性,可应用于对话式同伴互评、协作论证与协作问题解决等场景。研究还强调,collabot的局限性反映出教师不可替代的作用。未来教师需要引导学生有效利用对话代理并批判性理解其支架内容。研究建议开发学习仪表盘以可视化collabot的支架时机、内容与小组反应,帮助教师在学生无法理解支架或系统支持不足时及时介入,从而实现教师与生成式人工智能之间的混合智能(hybrid intelligence)协作。
本研究的亮点在于:第一,首次基于权变教学模型设计集认知、元认知与社会三类支架于一体的对话代理;第二,利用RAG技术结合大语言模型与预设教育知识库,在保证支架策略一致性的同时实现个性化内容生成;第三,通过多源数据实时诊断小组协作状态,突破了以往仅依赖对话数据的局限。研究也存在一定局限:当前collabot尚为原型系统,认知支架较为简单,实验在招募性环境中短期进行,其长期效果与真实课堂中的适用性仍需进一步验证。