本文档属于类型a,即报告了一项原创研究。以下是该研究的学术报告:
主要作者及机构
本研究由Bingcheng Wang、Pei-Luen Patrick Rau和Tianyi Yuan共同完成,三位作者均来自清华大学工业工程系。研究论文发表于2022年5月的期刊《Behaviour & Information Technology》,DOI为10.1080/0144929X.2022.2072768。
学术背景
随着人工智能(AI)技术在日常生活中的广泛应用,评估用户在使用AI技术时的能力变得尤为重要。尽管已有研究提出了AI能力的核心要素,但目前尚缺乏成熟的框架或实用工具来量化这一能力。为此,本研究提出了“AI素养”(AI Literacy)的概念,旨在描述个体在使用AI技术时的能力。AI素养包括对AI技术的认知、使用、评估以及在伦理标准下的应用能力。本研究的目标是开发一个可靠的量表,用于量化普通用户的AI素养,并探讨其与数字素养、对机器人的态度以及日常AI使用行为之间的关系。
研究流程
研究分为六个主要步骤:项目生成、内容验证、问卷管理、项目缩减、验证性因子分析以及信度和效度测试。
项目生成
研究团队通过启发式联想、头脑风暴和卡片分类等方法,生成了65个条目,涵盖AI素养的四个核心构念:认知(Awareness)、使用(Usage)、评估(Evaluation)和伦理(Ethics)。这些条目经过初步筛选,最终保留了31个条目。
内容验证
研究邀请了五位领域专家(SMEs)对条目进行内容验证。验证过程分为三步:首先,专家将条目分类到四个构念中;其次,专家对条目的拟合度进行评分;最后,通过焦点小组讨论优化条目的表述。最终,保留了31个条目。
问卷管理
研究通过在线问卷收集了两组样本数据。样本1用于项目缩减,样本2用于模型验证和确认。样本1包括601名参与者,样本2包括325名参与者。问卷采用七点李克特量表(Likert Scale)进行评分,并加入了注意力检查题以确保数据的有效性。
项目缩减
通过探索性因子分析(EFA)和验证性因子分析(CFA),研究团队从31个条目中筛选出12个条目,每个构念包含3个条目。项目缩减的目标是确保量表简洁且具有较高的信度和效度。
验证性因子分析
研究对样本2进行了验证性因子分析,比较了单因子、双因子、三因子和四因子模型的拟合度。结果表明,四因子模型(认知、使用、评估和伦理)是最适合的模型,拟合度指标(CFI、TLI、GFI、RMSEA、SRMR)均达到可接受水平。
信度和效度测试
通过Cronbach’s alpha、复合信度(CR)、平均方差提取(AVE)和异质-同质比率(HTMT)等指标,研究验证了量表的信度和效度。结果显示,量表的整体信度(Cronbach’s alpha = 0.83)高于各构念的信度,且各构念的AVE值接近0.5,表明量表具有良好的收敛效度和区分效度。
主要结果
1. 项目缩减结果
通过EFA和CFA,研究筛选出12个条目,每个构念包含3个条目。这些条目在因子载荷和项目-总相关性方面均表现出较高的值,表明其能够有效测量AI素养的四个构念。
模型验证结果
验证性因子分析表明,四因子模型是最适合的模型,拟合度指标(CFI = 0.99, TLI = 0.99, GFI = 0.98, RMSEA = 0.01, SRMR = 0.03)均达到可接受水平。
信度和效度结果
量表的整体信度(Cronbach’s alpha = 0.83)高于各构念的信度,且各构念的AVE值接近0.5,表明量表具有良好的收敛效度和区分效度。
假设检验结果
研究验证了多个假设,发现AI素养与数字素养显著正相关,与对机器人的负面态度显著负相关,且与日常AI使用行为的部分维度显著正相关。此外,认知和评估构念对用户对机器人的态度具有显著预测作用,而使用构念对日常AI使用行为具有显著预测作用。
结论
本研究开发了一个可靠的AI素养量表(AILS),并验证了其四因子模型的有效性。该量表不仅为研究人员提供了一种量化用户AI素养的工具,还为设计师开发符合用户AI素养水平的AI应用提供了参考。此外,研究还揭示了AI素养与数字素养、对机器人的态度以及日常AI使用行为之间的关系,为未来的人机交互研究提供了新的视角。
研究亮点
1. 提出了AI素养的概念,并开发了一个可靠的量表。
2. 验证了四因子模型的有效性,为AI素养的量化提供了理论基础。
3. 揭示了AI素养与其他相关因素(如数字素养、对机器人的态度)之间的关系。
4. 为未来的人机交互研究和AI教育提供了重要参考。
其他有价值的内容
研究还探讨了AI素养在可解释AI(Explainable AI)领域的潜在应用,认为提高用户的AI素养有助于改善其与智能系统的协作。此外,研究还指出,未来研究应进一步探讨AI素养与其他技术素养(如数字素养)之间的关系,并探索其在教育领域的应用价值。