本文属于类型b,是一篇学术论文,而非单一原创研究的报告。论文作者为任亮,来自中国科学技术信息研究所,研究成果发表于《情报科学》2026年第44卷第4期,文章题目为《生成式人工智能虚假信息风险的治理体系研究》。该文围绕生成式人工智能(生成式AI)引发的虚假信息风险这一核心议题,结合国内外治理经验,构建了涵盖宏观协同机制与微观技术路径的虚假信息治理体系。
文章首先辨析了生成式AI虚假信息风险的特征,指出其所带来的风险具有独特性与非典型性,不同于以往的虚假信息形态。第一个主要观点是,生成式AI所生成的虚假内容使用户难以辨别真伪。文章指出,随着各类大模型(large model)上线与开源,使用成本极低、门槛几乎为零,生成式AI已被广泛用于辅助学习、办公与科研。该技术能够模仿人类写作风格,生成逻辑合理、形式逼真的新闻报道或评论,甚至附有看似翔实的数据与引用,但相关内容很可能是模型杜撰的。用户如果未对生成内容进行核实便采纳或传播,就会无意中成为虚假信息的制造者或传播者。此外,别有用心者还可能利用生成式AI在网站或博客评论区批量制造具有相似观点的评论,形成信息茧房(information cocoon)效应,进一步削弱公众的判断力。
第二个主要观点是,大模型自身固有特征会加速或放大偏见。文章从系统性偏见、计算与统计偏见以及人类认知偏见三个层面进行分析。系统性偏见主要源于数据集、组织规范以及人工智能生命周期中的实践,非代表性样本导致数据结构失衡,生成内容带有倾向性,而大模型的训练机制会进一步强化这种失衡,甚至形成数据垄断与文化霸权。计算与统计偏见则与数据集和算法有关,Transformer模型本质仍遵循马尔可夫假设,生成内容的概率性导致输出存在不确定性与不可控性,模型倾向于迎合用户而不在意事实准确性,从而加剧错误信息的传播。人类认知偏见则与人工智能的设计、实施、操作和维护等交互过程有关,例如开发者可能用带有偏见的数据喂养模型,刻意隐藏相反观点,从而强化模型歧视。
第三个主要观点是,生成式AI虚假信息会加剧意识形态风险并引发国家安全风险。文章引述了西方国家支持或纵容媒体使用人工智能技术制造和传播虚假信息的现象,指出部分国家利用语言模型及其他人工智能模型从事影响、说服和误导特定受众的活动,以达到扩大社会分歧、激化社会矛盾、抹黑他国等目的。例如美国的“伏特台风”行动,被指利用政治机器人、网络水军等工具在全球范围内进行网络攻击和虚假叙事,严重损害了国际网络安全秩序。这一观点强调了生成式AI虚假信息不仅是技术问题,更是涉及国家安全与国际关系的战略性问题。
在分析我国面临的治理困境时,文章提出了两个主要观点。第一,我国亟需人工智能立法。目前针对生成式AI的治理主要依据2023年7月出台的《生成式人工智能服务管理暂行办法》,该办法虽然对数据来源、模型训练、监督检查以及责任划分作了规定,但依然属于监管层面的查漏补缺,缺乏系统性、针对性的专门法律。全国网络安全标准化技术委员会制定的《人工智能安全治理框架》虽然提出了安全治理原则,但不具备强制效力。第二,监管主体难以形成合力。生成式AI虚假信息治理涉及多项业务监管链条,虽然《暂行办法》由七部门联合发布,但并未明确各部门的业务监管范围,容易造成资源浪费与职责冲突;此外,现有规定主要针对生成式AI服务提供者,对部分个人用户的不当标识等行为缺乏有效约束,还需加强用户信息素养提升。
在借鉴国外治理经验的基础上,文章提炼出四项系统性治理思路。第一,创新治理理念。美国注重渐进式监管,强调“行政治理为先,法律约束为辅”,其治理模式保留了行业创新活力;欧盟则采取全面、系统、审慎的监管态度,通过《人工智能法案》以法律形式防治虚假信息。文章建议我国吸收双方优势,构建“立法先行+灵活引导”的治理模式,在保障安全的同时不限制技术发展。第二,建立治理体制。美国采取分布式治理,在联邦层面成立白宫人工智能委员会;欧盟则建立了自上而下的人工智能委员会、人工智能办公室以及专家咨询机构,形成多层级的监管体系。作者主张我国应打造“纵向贯通+横向协同”的治理格局,建立国家级统筹的生成式AI虚假信息治理体制,并设立智力支撑机构吸纳多领域专家参与。第三,执行风险评估。美国发布了《人工智能风险和影响评估》(ARIA计划),制定生成式AI安全评估标准,并对联邦机构开发的AI模型进行强制评估;欧盟根据风险等级对AI系统进行分级分类监管,并要求高系统性风险的模型提供者披露信息。我国应制定严格的风险评估体系,并引入第三方评估机构强化动态追踪。第四,加强基础治理。美国、英国等国注重大模型的技术干预,包括通过检索增强技术和基于人类反馈的强化学习训练可信模型、开发事实核查工具、实施全周期监控等。文章据此提出,我国应重视可信模型开发,严格模型训练,适度干预高风险行为,并在模型输出端部署虚假信息鉴别工具。
基于上述分析,文章最终构建了生成式AI虚假信息治理体系,包括两个层面:一是建立政府主导、多方协同的治理机制,二是设计AI大模型全链条技术治理路径。在协同治理机制方面,作者提出应提升监管主体层级,成立“虚假信息治理委员会”专职负责立法规划、战略研判与执法;模型服务提供方作为第一责任人应做好账号管理、内容审核与内容过滤,并定期披露模型运行情况;第三方评估机构负责模型各阶段风险评估测试;社交平台应协助治理并承担传播责任;用户应分类管理,专业用户需承担披露与标识义务,普通用户则应提升信息素养与鉴别能力。在全链条技术治理路径方面,文章从模型设计与构建、模型运作、信息传播三个阶段展开,涵盖特征数据训练、数据确权、联网检索、强化学习、算力管控、用户访问限制、模拟对抗、防御性生成模型、信息溯源标准、虚假信息鉴别工具以及用户信息素养提升等具体措施。
本文的意义与价值体现在理论与应用两个层面。理论上,文章系统梳理了生成式AI虚假信息的风险特征与治理困境,借鉴国际经验构建了涵盖体制机制与技术路径的系统性治理框架,弥补了以往研究多停留在对策建议层面、缺乏整体性设计的不足,为后续学术研究和政策制定提供了理论支撑。应用层面,文章提出的协同治理机制和全链条技术治理路径具有较强可操作性,可为政府部门、模型服务提供方、平台企业以及第三方评估机构在虚假信息治理实践中提供路径参考。此外,文章强调应平衡技术发展与安全治理的关系,主张“化堵为疏”,既防范虚假信息风险,又不过度限制生成式AI的创新发展,这对于推动生成式AI在提高社会生产力和效率方面发挥积极作用具有重要意义。文章同时指出,当前研究仍聚焦于理论层面,治理效果尚需进一步实证研究验证,这也为未来研究指明了方向。