学术报告：ChatGPT在化学教育中的写作辅助与评估应用

作者及机构
本研究由Winona State University化学系的Emily F. Ruff、Mark A. Engen、Jeanne L. Franz、Jonathon F. Mauser、Joseph K. West和Jennifer M. O. Zemke合作完成，发表于Journal of Chemical Education 2024年5月的虚拟特刊“探究生成式人工智能在化学教育中的使用与影响”。

学术背景
随着大型语言模型（LLMs, Large Language Models）如ChatGPT的普及，高等教育模式面临挑战。化学领域尤其需要学生和教师理解这类工具在科学写作、研究及内容检索中的潜力与局限。本研究旨在探索生成式AI如何辅助化学课程中的写作任务，并通过学生评估AI生成内容的效果，提升其对报告结构和AI能力的认知。研究背景基于两个核心问题：(1) AI工具能否有效辅助化学教育中的写作？(2) AI生成的案例是否能帮助学生批判性反思自身作业？

研究流程与方法
研究分为三部分，覆盖不同年级的化学课程：

1. 普通化学课程中的AI报告评估

   • 对象：116名Chem 212学生和27名Chem 213学生。
     
   • 方法：学生使用ChatGPT 3.5生成实验报告，并按课程评分标准评估AI生成内容。任务包括：(1) 比较AI与自身写作的优劣；(2) 识别AI在报告写作中的辅助范围；(3) 指出必须由人工完成的部分；(4) 优化提示词以改进输出。
     
   • 数据分析：教师对学生的评估答案进行1-5分评分，并通过前后测问卷（109份前测，57份后测）分析学生对AI认知的变化。
     

2. 高年级实验课程的AI写作辅助

   • 生物化学实验课：15名学生提交实验报告引言部分，由ChatGPT修订后，学生通过校准同行评审（CPR, Calibrated Peer Review）比较原始与修订版本，评估可读性和语法改进。
     
   • 无机化学课程：10名学生使用ChatGPT辅助研究提案写作，包括背景生成和文本修订。教师从准确性、提示词有效性、学生解读能力三方面评分（1-5分）。
     
   • 分析化学课程：13名学生匿名评审AI生成的摘要，分析其与人工写作的差异（如数据特异性、语法错误）。
     

3. 数据收集与内容分析

   • 文本分析：通过Raygor图量化ChatGPT修订文本的特征（如长词频率、句子长度），显示AI修订后文本的复杂度降低，可读性提升。
     
   • 调查结果：后测显示，60%以上学生认识到化学领域专业人士使用AI工具，但对AI辅助实验报告结果部分的信任度从30%降至70%。
     

主要结果
1. 普通化学学生通过评估AI报告显著提升了对实验报告结构的理解（图1a-b），但仅少数（11%）此前接触过AI工具。
2. 高年级学生认为AI对修订最有帮助（图3a），但指出其缺乏实验细节（图5a）。例如，生物化学学生71%能正确识别AI修订文本，认为其更简洁但公式化。
3. 文本分析显示AI修订后语法错误减少，句子长度更均匀（图3b），但主动语态和第一人称使用违背学术规范。

结论与价值
研究表明，ChatGPT可作为化学教育中的写作辅助工具，尤其在修订和结构学习方面。其价值包括：
- 教学应用：AI生成的不完美案例能训练学生的批判性思维，例如普通化学课程中，早期接触AI报告的学生后续作业质量提高。
- 伦理教育：需加强学生对AI使用规范的认知，如署名要求（仅1名无机化学学生在提案中注明AI使用）。
- 局限性：AI在生成实验数据或创新内容时表现较差（无机化学背景生成平均仅2.4分）。

研究亮点
1. 跨课程验证：覆盖从入门到高阶化学课程，证实AI辅助的普适性。
2. 混合方法：结合定量（Raygor分析）与定性（学生反馈）数据，全面评估AI效果。
3. 伦理警示：揭示了学生未充分认识AI署名要求的问题，呼吁课程中整合伦理教育。

其他发现
- 学生对AI的态度存在两极分化：部分依赖其修订功能，另一些因“缺乏可信来源”拒绝使用。
- 教师对AI工具的教学效果意见不一：一名教师认为应减少AI焦点，另一名则认为其能缓解写作障碍。

本研究为化学教育者提供了AI工具整合的具体方案，同时强调了伦理培训的必要性，为未来研究奠定了基础。