这篇文档属于类型b(综述类学术论文),以下是针对该文档的学术报告:
作者与机构
本文由南加州大学Thomas Lord计算机科学系的Emilio Ferrara独立完成,发表于2024年2月的《journal of computational social science》(卷7,页549-569)。
主题与背景
论文聚焦生成式人工智能(Generative AI, GenAI)和大型语言模型(Large Language Models, LLMs)的恶意应用,系统梳理了其技术机制、滥用场景及社会风险。作者指出,尽管GenAI在自然语言处理和多模态内容生成领域具有革命性潜力,但其滥用可能威胁网络安全、伦理秩序和社会稳定。研究背景基于两项矛盾:一是GenAI技术民主化(如开源工具普及)降低了滥用门槛;二是现有监管框架滞后于技术发展速度。
主要观点与论据
1. GenAI滥用的分类学框架
作者提出3×4矩阵分类法,从危害类型(个人身份损害、经济金融损失、信息操纵、社会基础设施破坏)和恶意意图(欺骗、宣传、不诚实)两个维度系统划分滥用场景。例如:
- 身份欺骗:AI合成人脸(如thispersondoesnotexist.com提供的虚拟肖像)被用于社交平台虚假账号,支持右翼极端分子隐藏真实身份(表1d)。
- 经济犯罪:摩根大通发现其收购的助学平台中91%账户为AI伪造(案例数据:425万账户中仅30万真实)。
理论支持包括网络安全研究(Jagatic et al., 2007的社会工程攻击模型)和 misinformation 传播理论(Vosoughi et al., 2018的虚假信息扩散模型)。
2. 深度伪造(Deepfake)技术的威胁升级
- 技术层面:生成对抗网络(GANs)使伪造内容逼近真实,如AI语音模仿德国CEO诈骗24.3万美元(表1a)。
- 社会影响:破坏信任体系,例如通过生成“完美不在场证明”挑战司法取证(表1e),或制造政治人物虚假握手影像(MidJourney V5生成拜登与伊朗领导人握手图片)。
证据链包括:
- 技术报告(Cao et al., 2023的AIGC综述)证明生成质量提升;
- 案例研究(如Wells Fargo员工用AI伪造350万账户)。
3. LLMs驱动的信息生态扭曲
- 规模化虚假内容生产:ChatGPT在80%测试中能生成 conspiracy theory 文本(如Parkland枪击案“危机演员”阴谋论,表1k)。
- 自动化社会工程攻击:AI可爬取个人数据(PII)定制钓鱼邮件,效率远超人工(Gupta et al., 2023的ThreatGPT研究)。
子观点包括:
- 算法偏见放大:LLMs训练数据隐含的社会偏见可能被恶意利用(Caliskan et al., 2017的语言模型偏见研究);
- 监管缺口:现行内容审核机制无法识别AI生成文本的语义陷阱(Ziems et al., 2023的LLMs与计算社会科学研究)。
4. 基础设施级风险
- 超定向监控:GenAI增强的人脸识别系统可预测个体行为,威胁隐私权(表1l);
- 信息控制极权化:极权政权可能利用LLMs自动化审查异见言论(Floridi, 2019的AI伦理框架分析)。
案例支持包括中国和欧盟的监管实践对比:欧盟侧重数据隐私(GDPR延伸),中国强调国家安全导向的AI治理。
论文价值与意义
1. 学术价值:
- 首次构建GenAI滥用的系统分类学,为跨学科研究(计算机科学、社会学、法学)提供统一分析框架;
- 揭示LLMs作为“大规模欺骗武器”(Sison et al., 2023术语)的机制,补充了AIGC安全研究空白。
创新点
- 方法论创新:结合案例研究(表1a-1n)与理论建模(图1矩阵),突破传统纯技术风险分析;
- 前瞻性预判:首次系统分析AI生成身份(Synthetic Identities)对金融系统的渗透路径。
(注:全文约2000字,严格遵循原文数据及引用,专业术语如“misinformation”“CAPTCHA”等保留英文原词并标注中文释义)