人机协同作文评价在初中写作教学中的应用效果研究

作者及机构
本研究由浙江大学教育学院李艳教授（通讯作者）、湖州师范学院刘淑君博士、浙江大学教育学院附属学校李小丽老师及郑州外国语学校杨普光老师合作完成，发表于《现代远程教育研究》2022年第1期。

学术背景与研究动机
研究聚焦人工智能（Artificial Intelligence, AI）教育应用领域，具体探索智能作文评价系统（Automated Essay Evaluation）与教师协同教学对初中生写作能力的影响。传统写作教学面临教师批改负担重、反馈滞后、学生动机不足等问题，而智能作文评价技术（如美国的Criterion、E-rater等）虽在英语写作中已有应用，但中文语境下的教学效果缺乏实证证据。基于此，研究团队以国内广泛应用的”IN课堂语文作文智能批改系统”为工具，旨在验证人机协同模式能否提升学生作文成绩、写作动机，并优化教师反馈行为。

研究设计与方法
研究采用准实验设计，历时5周，以Z校28名七年级学生为对象，按性别和语文成绩均衡分为实验组（人机协同评价）和对照组（纯教师评价）。实验流程包含四个核心环节：

1. 前期准备

   • 教师建立IN课堂虚拟班级，学生接受系统操作培训。
     
   • 所有学生完成写作动机前测问卷（含自信、毅力、激情三维度，克隆巴赫系数0.75-0.92）。
     

2. 写作干预

   • 以”倒叙的魅力”和”描写训练”为主题开展两次写作活动，每次持续2周。
     
   • 实验组：学生初稿经IN课堂自动评分（40分制）后，教师补充反馈；学生可多次修改并获取双重反馈。
     
   • 对照组：仅由教师批改，学生根据单一反馈修改。
     

3. 数据收集

   • 作文成绩：取教师评分与IN课堂评分的均值作为终稿成绩，采用协方差分析（ANCOVA）控制初稿差异。
     
   • 教师反馈：对677条反馈单元编码（编码一致性0.83-0.91），按类型（直接/提问/信息型/表扬）和层次（低阶：标点/语法；高阶：立意/结构）分类统计。
     
   • 学生体验：通过后测问卷（李克特五点量表）和焦点访谈（14名学生）收集主观反馈。
     

4. 数据分析

   • 使用SPSS 23进行配对样本t检验、非参数检验（Mann-Whitney U）等，量化比较组间差异。
     

主要发现
1. 作文成绩
- 两组终稿成绩较初稿均显著提升（p<0.05），但组间无显著差异（作文一：F=0.01；作文二：F=0.04）。表明人机协同在短期内未显现额外优势，可能与写作能力提升的长期性有关。

1. 写作动机

   • 实验组”写作激情”维度得分显著高于对照组（F=4.30, p<0.05），但自信和毅力无差异。访谈显示，系统的即时反馈和多次修改机会激发了学生兴趣，但部分学生认为机器评分不稳定（如”未修改却分数波动”）。
     

2. 教师反馈行为

   • 实验组教师反馈数量减少至对照组的2/3（每千字15.12 vs. 26.09条，z=4.13, p<0.01），提问型反馈比率显著降低（0.13 vs. 0.23）。高阶反馈中”主题立意”和”结构构思”比率提升（z=2.09-2.11, p<0.05），但整体高低阶反馈比率无显著变化。反映教师在人机协同中更侧重补充机器不足的高阶指导。
     

3. 学生接受度

   • 问卷显示学生对系统价值总体认可（均分>3分），但50%对持续使用持中立态度。矛盾点在于：认可反馈全面性，但认为IN课堂低阶反馈遗漏多、高阶建议笼统（如”增强感染力”缺乏具体方向），且双渠道反馈增加认知负荷。
     

结论与建议
研究表明，人机协同作文评价虽未显著提升成绩，但在激发写作激情、减轻教师负担方面具有潜力。其效果受限于当前技术成熟度（如低阶错误识别率不足）和教学实施方式（如反馈信息过载）。研究提出三点建议：
1. 教师角色重构：从”精批细改”转向策略指导，结合智能系统实现”教师主攻高阶、机器负责基础”的分工。
2. 学生能力培养：加强写作修改训练，提升学生对反馈的理解与落实能力。
3. 技术优化路径：产学研合作改进系统，如提升评分敏感性、细化反馈内容（如结合案例示范）。

研究亮点
1. 创新性：首次在中文写作教学中系统验证人机协同效果，填补了非英语语境的研究空白。
2. 方法论：综合量化分析（成绩/动机）与质性反馈（访谈），揭示人机协同的复杂影响机制。
3. 应用价值：为智能技术与写作教学深度融合提供实证依据，指明教师专业发展和技术迭代的双向改进方向。

局限与展望
实验周期较短（5周），未来可延长干预时间，探索长期效果；样本量较小（n=28），需扩大范围验证普适性。此外，如何平衡反馈效率与深度，仍是人机协同研究的关键问题。