这篇文档属于类型a,即报告了一项原创性研究。以下是对该研究的学术报告:
研究作者及机构
本研究由Dabae Lee(美国Kennesaw State University)和Sheunghyun Yeo(韩国Daegu National University of Education)共同完成,于2022年9月24日发表在期刊Computers & Education上。
学术背景
该研究属于教育技术领域,特别是人工智能(AI)在教育中的应用。研究的背景是,响应式教学(Responsive Teaching)能够促进学生的数学推理能力和对数学的积极态度。然而,由于教学工作的复杂性,职前教师(PSTs)在教师教育项目中缺乏足够的实践机会来培养这种教学技能。尽管自适应学习的需求日益增加,但关于AI在教育中的研究仍较少,尤其是能够与学习者进行有意义的互动的研究。
研究的目标是开发一个基于AI的聊天机器人,通过模拟真实的、开放式的教学情境,帮助职前教师练习响应式教学技能,特别是提问技能。聊天机器人被设计为一个虚拟学生,展示在分数(fractions)主题上的常见误解,通过近似实践(approximations of practice)的方式,增强职前教师的教学能力。
研究流程
研究采用基于设计的研究(Design-Based Research, DBR)方法,包含两个迭代周期。以下是每个迭代的详细流程:
迭代#1
- 数据收集:研究首先从两个来源收集训练数据:一是来自Webel & Conner(2017)研究的53名职前教师的对话数据;二是通过在线调查收集的22名职前教师的数据,这些教师在学习分数内容后观看了Jiwoo(一个三年级学生)的视频,并提交了问题和可能的答案。
- 数据分析:使用主题分析方法对问题数据进行编码和分类,最终将问题分为五类:一般问题、部分与整体、比较大小、加减法、公式相关。每个问题类别进一步细分为多个意图(intent),作为聊天机器人响应的基础。
- 聊天机器人开发:使用IBM Watson Assistant开发聊天机器人,生成对每个意图的响应,并构建对话系统。聊天机器人通过自然语言处理(NLP)和机器学习技术识别用户的输入,并根据预设的意图生成响应。
- 实施:在小学数学教育方法课程中,职前教师在观看Jiwoo的视频后与聊天机器人进行对话,练习提问技能。
- 评估:通过聊天机器人分析、对话数据和反思调查数据评估聊天机器人的表现。调查内容包括用户对互动体验的满意度和提问技能的自信程度。
迭代#2
- 数据收集与分析:基于迭代#1的对话数据和评估结果,进一步细化和增加意图,以提高聊天机器人的覆盖率和响应质量。
- 聊天机器人改进:增加了新的意图,如“比较整体”、“表示分数”、“制作公分母”等,并为常见意图添加了多样化的响应。此外,聊天机器人被设计为能够在用户多次提问后提供“顿悟”响应(aha response),表示虚拟学生理解了问题。
- 实施与评估:改进后的聊天机器人在第二个班级中实施,并通过相同的评估方法进行测试。
主要结果
- 设计特征:聊天机器人的结构基于对训练数据的分析,将问题分为可回答和不可回答两类,并为每类问题生成相应的响应。迭代#2中,聊天机器人的意图进一步细化,响应类型更加多样化。
- 覆盖率:迭代#1中,聊天机器人覆盖了92.52%的用户输入,但仍有28.97%的输入被错误识别。迭代#2中,覆盖率提高到97.58%,错误识别率降至16.13%。
- 提问模式:职前教师倾向于在同一类别中反复提问,尤其是在公式相关和比较大小的问题上。迭代#2中,用户提问的类别数量略有增加,且比较大小的问题成为最常提问的类别。
- 用户体验:大多数用户对聊天机器人的互动体验表示满意,认为其响应真实且有助于练习提问技能。迭代#2中,用户对聊天机器人的满意度和自信程度进一步提高。
结论
该研究成功开发了一个基于AI的聊天机器人,能够为职前教师提供近似实践的机会,帮助他们练习响应式教学技能,特别是提问技能。聊天机器人通过模拟虚拟学生的误解,提供了真实且有意义的互动体验。研究还生成了关于如何设计教育聊天机器人的形成性知识,为未来的研究和开发提供了指导。
研究亮点
- 创新性:该研究首次将AI聊天机器人应用于职前教师的响应式教学技能训练,填补了该领域的研究空白。
- 设计特征:研究通过多次迭代,逐步优化聊天机器人的意图和响应,显著提高了其覆盖率和用户满意度。
- 应用价值:聊天机器人能够为职前教师提供个性化的互动体验,帮助他们在实际教学前培养关键的教学技能。
其他有价值的内容
研究还探讨了聊天机器人在教育中的潜在应用,特别是如何通过模拟错误学习(errorful learning)来增强教师的教学能力。此外,研究提出了未来研究的方向,如开发能够提供个性化反馈的聊天机器人,以及将聊天机器人应用于更复杂的教学场景中。
通过该研究,AI聊天机器人在教育中的应用得到了进一步的探索和验证,为未来的教育技术发展提供了重要的参考。