分享自:

人工智能辅助学术写作中的人机协作模式

期刊:Studies in Higher EducationDOI:10.1080/03075079.2024.2323593

这篇文档属于类型a,即报告了一项原创研究。以下是针对该研究的学术报告:

作者及发表信息

该研究由Andy Nguyen、Yvonne Hong、Belle Dang和Xiaoshan Huang共同完成,分别来自芬兰奥卢大学的“学习与教育技术研究实验室”(Learning and Educational Technology Research Lab)、新西兰惠灵顿维多利亚大学的“信息管理学院”(School of Information Management)以及加拿大麦吉尔大学的“教育与咨询心理学系”(Department of Educational and Counselling Psychology)。研究于2024年2月28日在线发表在《Studies in Higher Education》期刊上,题为“Human-AI Collaboration Patterns in AI-Assisted Academic Writing”。

学术背景

该研究聚焦于人工智能(AI)在高等教育中的影响,特别是生成式人工智能(Generative AI, GAI)在学术写作中的应用。随着AI技术的快速发展,尤其是自然语言处理(Natural Language Processing, NLP)领域的进步,AI辅助写作工具在学术写作中的作用日益显著。然而,尽管这些工具为学术写作提供了便利,但人类与AI协作的动态机制仍未被充分探索。研究旨在揭示博士生在使用GAI辅助写作工具时的策略与模式,并探讨这些策略对写作任务表现的影响。

研究流程

研究分为以下几个主要步骤:

  1. 参与者与实验设计
    研究选取了10名来自芬兰和新西兰的博士生作为参与者,他们均就读于信息管理或学习与教育技术领域的英语博士项目。实验通过Zoom视频会议平台进行,参与者被要求在30分钟内完成一篇约500字的短文,主题为“AI在教育中的应用”。实验过程中,参与者可以自由使用ChatGPT和Google Scholar等工具,屏幕录制技术被用于捕捉他们与写作任务及工具的互动。

  2. 数据预处理与分析
    研究采用了基于AI的学习分析方法,分为三个层次进行数据分析:

    • 第一层:通过定量内容分析对学生的写作行为进行编码,共记录了626个事件。
    • 第二层:使用隐马尔可夫模型(Hidden Markov Model, HMM)和序列聚类技术,识别博士生在与ChatGPT协作时的写作策略模式。
    • 第三层:应用过程挖掘(Process Mining)技术,进一步分析识别出的模式。
  3. 写作表现评分
    使用结构化评分标准对参与者的写作成果进行评估,评分标准包括内容(30%)、分析(30%)、结构与组织(15%)、写作质量(15%)以及字数与引用(10%)。

主要结果

  1. 隐马尔可夫模型分析
    研究识别出三种隐藏状态:

    • 状态1:内容粘贴行为,占14.6%的数据,主要表现为将内容粘贴到文档或工具中。
    • 状态2:内容复制行为,占14.5%的数据,主要表现为从文章或工具中复制内容。
    • 状态3:内容塑造行为,占70.8%的数据,表现为更复杂的写作行为,如添加引用、编辑内容和生成内容。
  2. 序列聚类与过程挖掘
    研究通过聚类分析将参与者的写作策略分为两类:

    • 类型1:结构化适应性策略,表现为多任务处理、生成内容后编辑与整合,参与者表现出对ChatGPT的熟练使用。
    • 类型2:非结构化线性策略,表现为线性使用ChatGPT生成内容并直接粘贴,缺乏对生成内容的批判性评估。
  3. 写作表现对比
    采用t检验分析发现,采用类型1策略的参与者写作表现显著高于类型2(p ≤ 0.05)。类型1的平均得分为79.75,而类型2为54.75。

结论与意义

研究表明,博士生在使用GAI辅助写作工具时,采用迭代、高度互动的策略(类型1)能够显著提升写作表现,而仅将GAI作为补充信息源的线性策略(类型2)则表现较差。这一发现为高等教育中AI工具的整合提供了重要启示,强调了动态协作与批判性思维在学术写作中的重要性。研究还为教育工作者提供了针对性教学策略的设计依据,例如通过培训学生更有效地使用AI工具来优化写作过程。

研究亮点

  1. 重要发现:揭示了博士生在使用GAI辅助写作工具时的两种主要策略及其对写作表现的影响。
  2. 方法创新:结合了隐马尔可夫模型、序列聚类和过程挖掘技术,为分析人类与AI协作的复杂动态提供了新的方法论框架。
  3. 研究对象特殊性:聚焦博士生这一高学术要求的群体,为AI在高等教育中的应用提供了具体案例支持。

其他有价值的内容

研究还指出了未来研究的方向,例如进一步探索认知与元认知因素在人类与AI协作中的作用,以及AI工具在教育中的伦理问题(如数据隐私和潜在偏见)。此外,研究建议开发更创新的评估工具,以更全面地衡量生成式AI技术对学习过程的影响。

通过这项研究,学术界和教育实践者可以更好地理解如何有效整合AI工具,以支持学生的学术写作能力发展,同时确保学术诚信和批判性思维的培养。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com