分享自:

AI素养问卷的设计与验证:情感、行为、认知与伦理方法

期刊:British Journal of Educational TechnologyDOI:10.1111/bjet.13411

这篇文档属于类型a,是一篇关于人工智能素养(AI literacy)问卷设计与验证的原创研究报告,以下是详细学术报告内容:


人工智能素养问卷(AILQ)的设计与验证:基于情感、行为、认知与伦理(ABCE)框架的研究

作者与机构
本研究由香港大学教育学院的Davy Tsz Kit Ng(第一作者)、香港中文大学教育学院的Wenjie Wu与Thomas Kin Fung Chiu、香港科技大学跨学科系统与设计学部的Jac Ka Lok Leung,以及香港都会大学护理与健康研究学院的Samuel Kai Wah Chu合作完成。研究于2024年发表于《British Journal of Educational Technology》(BJET)第55卷,文章DOI为10.1111/bjet.13411。

学术背景
研究领域为教育技术学与人工智能教育的交叉领域。随着人工智能(AI)技术在社会各领域的渗透,AI素养(AI literacy)成为21世纪教育的重要议题。然而,现有针对中学生群体的AI素养评估工具存在以下局限性:(1) 多数问卷仅聚焦认知与伦理维度,忽视情感(affective)和行为(behavioral)维度;(2) 缺乏针对青少年年龄特点的验证工具;(3) 尚未建立以课程干预为基础的评估框架。为此,研究团队基于ABCE框架(Affective, Behavioural, Cognitive, Ethical)开发了《人工智能素养问卷》(AILQ),旨在全面评估中学生在AI学习中的情感态度、行为投入、认知能力与伦理意识。

研究流程与方法
1. 理论框架构建与初始问卷设计
- 通过文献综述,研究团队将AI素养定义为四个维度:(1) 情感学习(内在动机、自我效能感);(2) 行为学习(行为承诺、协作能力);(3) 认知学习(从“认识理解”到“评估创造”的进阶技能);(4) 伦理学习(安全性、隐私性等7项伦理原则)。
- 初始设计包含60个题项,采用5级李克特量表(1=完全不同意,5=完全同意)。

  1. 专家验证与内容效度检验

    • 邀请3名AI教育专家与3名中学教师对题项进行评审,重点关注语言清晰度、概念区分度与课程匹配度。
    • 修订后保留55题,合并部分重叠维度(如删除“职业兴趣”因子,整合“行为意向”与“行为投入”为“行为承诺”)。
  2. 预实验(Pilot Study)

    • 对象:47名12-13岁香港中学生(男女比例均衡)。
    • 干预方案:10节AI素养课程,采用项目式学习(PBL),学生分组设计AI解决方案(如使用Teachable Machine训练分类模型)。
    • 数据分析:配对样本t检验显示,除“职业兴趣”外(p=0.064),其他维度均显著提升(p<0.05),但“协作能力”提升幅度较小(需改进分组策略)。
  3. 主研究及验证分析

    • 样本:363名12-17岁香港中学生(男180人,女183人),历时3个月完成课程后填写问卷。
    • 统计方法
      • 探索性因子分析(EFA):提取四因子结构(ABCE),解释总方差51.41%。
      • 验证性因子分析(CFA):采用加权最小二乘法估计,通过以下指标验证模型拟合度:RMSEA=0.06(<0.08)、CFI=0.92(>0.90)、SRMR=0.06(<0.08)。
      • 信效度检验:Cronbach’s α=0.93,组合信度(CR)均>0.7,平均变异抽取量(AVE)除“内在动机”(0.44)与“AI伦理”(0.46)外均>0.5。

主要结果
1. 模型优化
- 删除跨载荷题项(如认知维度中“应用AI”与“评估创造AI”合并),最终保留32题。
- 二阶CFA显示ABCE模型优于三阶模型(Δχ²=49.49, p<0.01),证实四维度结构的独立性。

  1. 关键发现
    • 情感维度:自我效能感与学习信心高度相关(HTMT=0.88),整合为单一因子。
    • 行为维度:协作能力需通过强化PBL设计提升(如角色分工、LMS支持)。
    • 伦理维度:原16题简化为8题,聚焦“透明度”“社会责任”等核心伦理观念。

结论与价值
1. 理论贡献
- 提出首个基于ABCE框架的AI素养评估模型,拓展了传统认知-伦理二维评估体系。
- 验证了情感(如动机)与行为(如协作)对AI素养发展的预测作用,呼应自我决定理论(SDT)。

  1. 应用价值
    • AILQ可作为中学AI课程的效果评估工具,其标准化流程(理论构建→专家评审→实证验证)为教育测量研究提供方法论参考。
    • 课程设计启示:需平衡技术技能培养与伦理教育,并通过分组任务强化协作能力。

研究亮点
1. 创新性框架:首次将伦理维度(Ethical)与传统ABC模型结合,响应了AI教育对伦理意识的迫切需求。
2. 方法学严谨性:通过多阶段验证(专家评判、预实验、CFA),确保工具的信效度。
3. 年龄适配性:题项语言与认知复杂度针对青少年特点优化,如避免抽象术语(如“算法偏见”改为“AI决策公平性”)。

局限性
- 样本局限:仅覆盖香港地区学生,未考虑跨文化差异。
- 未覆盖全部潜在能力(如计算思维、AI焦虑等),未来可扩展子量表。

此研究为AI素养教育提供了科学的评估基准,其ABCE框架亦适用于其他数字素养(如数据素养、算法素养)的量表开发。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com