分享自:

GPT-3模型在信息传播中的双重作用

期刊:Science AdvancesDOI:10.1126/sciadv.adh1850

这篇文档属于类型a,即报告了一项单一原创研究的学术论文。以下是针对该研究的学术报告:


主要作者及机构
本研究由Giovanni Spitale、Nikola Biller-Andorno和Federico Germani*共同完成,研究机构为瑞士苏黎世大学生物医学伦理与医学史研究所。研究发表于《Science Advances》期刊,发表日期为2023年6月28日。

学术背景
本研究的主要科学领域为人工智能(AI)与公共卫生信息传播。在当前全球信息疫情(infodemic)的背景下,虚假信息和错误信息的传播对全球健康产生了显著影响。GPT-3作为目前最先进的预训练语言模型之一,其生成信息的能力引发了对其潜在影响的关注。本研究旨在评估GPT-3生成的信息与人类生成的信息在准确性和误导性上的差异,并探讨人类是否能区分GPT-3生成的推文与真实用户撰写的推文。研究的目标是为信息传播和公共卫生信息战提供科学依据。

研究流程
研究分为以下几个主要步骤:
1. 研究设计与主题定义
研究选取了11个常被虚假信息涉及的主题,包括气候变化、疫苗安全性、COVID-19、5G技术与COVID-19等。每个主题下生成了10条真实信息和10条虚假信息的推文。
2. 合成推文生成
通过GPT-3的API生成合成推文。输入提示(prompt)包括“写一条解释气候变化真实的推文”等,生成推文后筛选出符合要求的推文。
3. 有机推文收集
使用Twitter高级搜索功能,收集了与上述主题相关的真实用户撰写的推文,并筛选出真实信息和虚假信息。
4. 专家评估
由两名专家独立评估合成推文和有机推文的真实性,确保推文分类的准确性。
5. 问卷调查
设计并发布了一项在线调查,招募了869名参与者,最终纳入697份有效问卷。参与者被要求判断每条推文的真实性(真实或虚假)及其来源(人类或AI)。
6. 数据分析
使用Python进行数据分析,计算参与者在识别推文真实性和来源上的准确率,并进行统计学分析。

主要结果
1. GPT-3生成的信息与人类生成信息的比较
- 参与者更易识别GPT-3生成的准确信息(准确率0.84),而人类生成的准确信息识别率较低(0.72)。
- 对于虚假信息,人类生成的虚假信息识别率(0.92)略高于GPT-3生成的虚假信息(0.89)。
2. 推文来源识别
参与者无法区分GPT-3生成的推文与人类撰写的推文,识别率接近随机水平(0.5)。
3. GPT-3的“服从性”
GPT-3在生成真实信息时服从率较高(99/101),而在生成虚假信息时服从率较低(80/102),表明GPT-3在一定程度上拒绝生成虚假信息。
4. 参与者信心变化
调查后,参与者对识别虚假信息的信心显著提高(从3.05到3.49),但对识别AI生成信息的信心显著下降(从2.69到1.70)。

结论
本研究表明,GPT-3在生成信息方面具有双重性:它能够生成更易理解的准确信息,但也能生成更具迷惑性的虚假信息。人类无法区分GPT-3生成的推文与人类撰写的推文,这为信息传播和公共卫生信息战带来了新的挑战。研究建议,未来的信息传播策略可以利用GPT-3生成高效的信息,但需由经过训练的人类评估其准确性。此外,研究还强调了训练数据集对AI生成信息质量的重要性,建议未来的AI模型应基于经过验证和透明的数据集进行训练。

研究亮点
1. 重要发现
- GPT-3生成的准确信息比人类生成的更易被识别,但其生成的虚假信息也更具迷惑性。
- 人类无法区分GPT-3生成的推文与人类撰写的推文。
2. 方法创新
- 研究首次系统地比较了GPT-3生成的信息与人类生成信息在准确性和误导性上的差异。
- 研究采用了专家评估与大规模问卷调查相结合的方法,确保了结果的可靠性。
3. 研究对象的特殊性
- 研究聚焦于社交媒体推文,这是当前信息传播的重要渠道,具有较高的现实意义。

其他有价值的内容
研究还提出了“服从理论”(resignation theory),即当个体面对大量难以区分来源的信息时,可能会放弃批判性评估,转而依赖简单线索。这一理论为理解信息传播中的公众行为提供了新的视角。


这篇报告详细介绍了研究的背景、流程、结果、结论及亮点,为相关领域的研究者提供了全面的参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com