作者：郭佳楠（亚洲理工学院发展与可持续性学院；中国人民大学数字人文研究中心），阮氏福来（亚洲理工学院发展与可持续性学院）。本文发表于《科技文化与传播》2025年第4期。
本文围绕生成式人工智能虚假信息治理展开，属于观点性与对策性学术论文。文章以文献分析为基础，揭示生成式人工智能虚假信息的潜在风险，剖析其逻辑成因，并提出治理策略。全文按照“风险—成因—策略”的递进结构展开，分别从个体、社会与国家三个层面分析虚假信息风险，从训练数据、责任划定与信息筛选机制三方面解释风险形成逻辑，最后从规范体系、主体责任与制度环境三个维度提出应对方案。
一、个体、社会与国家层面的潜在风险
文章首先指出，生成式人工智能虽然提升了信息生产效率，但虚假信息问题已成为大语言模型的“通病”。在个体层面，生成式人工智能凭借低成本、高效率与强交互的生成能力，为网络钓鱼和在线诈骗提供了便利，降低了实施网络诈骗的技术门槛。虚假信息长期暴露会形成信息闭环，使个人难以接触不同观点，降低对虚假信息的辨别能力。同时，虚假信息往往利用愤怒、恐惧和焦虑等负面情绪刺激快速分享，进一步削弱理性分析能力。此外，生成式人工智能会根据用户行为数据生成个性化内容，强化既有偏好，加剧“信息茧房”现象，导致认知固化与观念极化。当用户长期接受单一立场信息后，对反对意见的接受能力减弱，容易形成群体极化，加深社会分裂。
在社会层面，生成式人工智能生成的虚假信息具有高度仿真性和大规模传播能力，会侵蚀网络空间信任体系。当公众难以分辨信息真伪时，真实信息与虚假信息的界限模糊，形成“信息怀疑主义”。社交媒体和新闻网站若频繁出现虚假信息且治理不力，其公信力会受到冲击。深度伪造技术可以伪造个人或机构数字身份，侵蚀数字身份可信性。虚假新闻、篡改视频或捏造政策声明的大规模传播，会使公众对主流媒体、政府机构和专家学者产生怀疑，导致社会共识难以形成。虚假信息还可能涉及灾难预警、金融市场波动等敏感内容，引发公众恐慌。在政治议题上，虚假信息被用来煽动民意、激化对抗，削弱社会凝聚力。长期来看，大量高仿真虚假内容会抑制经济发展，阻碍技术创新，并削弱公众对政府、媒体和社会机构的信任。
在国家层面，生成式人工智能制造虚假信息的手段隐匿性强，信息来源分散，难以追踪。技术监管滞后与内容更新速度极快，使虚假信息能够在短时间内大规模传播。社交媒体使虚假信息以指数级速度扩散，跨国界传播加大了协同治理难度。监管体系和法律政策滞后，传统人工审核模式无法应对庞大的内容审核需求。监管压力激增还可能引发民众对政府信息控制的不满，加剧舆论反弹。虚假信息可用于制造虚假新闻、视频或舆论，误导消费者并损害市场公平。涉及自然灾害、疫情扩散、金融市场崩盘等敏感议题的虚假信息，会削弱国家治理能力，引发公众恐慌。人工智能生成的定向虚假信息还可能强化群体偏见，激化种族、宗教、阶层矛盾。在国际层面，生成式人工智能可能被用作网络武器，削弱国家形象和国际公信力，甚至通过伪造情报误导决策者。
二、风险形成的逻辑成因
文章从三个维度分析生成式人工智能虚假信息风险的成因。第一，训练数据参差不齐，缺乏数据筛选与验证。生成式人工智能常从未经验证的开放数据集中获取训练数据，这些数据可能包含虚假、不完整信息。部分模型可能爬取受版权保护或私密性强的数据，导致数据来源存在违法和伦理问题。数据集还可能被恶意注入虚假或误导性信息，使模型学习到错误内容。在数据处理与生成环节，当前模型对数据筛选和验证能力有限，可能直接将未经验证的信息用于生成内容。生成结果往往无法追溯到具体数据来源，缺乏可溯源性使内容可信度难以评估。生成式人工智能还具备强大的合成与伪造能力，可基于少量数据生成高仿真度的虚假文本、图像、音频和视频，这些内容看似真实但可能并无事实依据。
第二，缺乏明确的责任划定，协同义务过于宽泛。生成式人工智能虚假信息从产生到传播涉及多方主体，但现有治理模式没有构建起责任明确的机制。模型开发者是否需要对模型生成的虚假信息负责，目前大多数企业通过“免责声明”规避直接责任。平台是否应对用户利用技术生成虚假信息承担责任，不同国家法律规定不一，普遍缺乏细化问责机制。治理主体碎片化导致执行困难，监管机构、技术企业、社交平台和用户之间缺乏明确分工，容易出现推诿现象。政策虽然强调“多方协作”，但未细化各主体具体义务，“合理措施”的界定模糊。不同主体利益诉求不同，跨行业、跨国协同治理难度大。生成式人工智能能力迭代迅速，法律法规往往滞后，现有法规难以适应技术发展。
第三，信息筛选机制缺失，增加事实核查漏洞。传统媒体发布信息需要经过编辑、审核、校对等多个环节，而生成式人工智能生成的信息可以绕过这些筛选直接传播。个人用户无需专业知识即可使用人工智能生成大量看似真实的信息。大模型主要优化生成流畅、自然的文本，而非事实准确的文本，导致“幻觉”问题仍未解决。生成式人工智能生成的虚假信息往往是全新的、未曾出现过的信息，传统核查手段难以应对。多模态伪造内容如深度伪造视频和音频的检测技术仍在研发中，普通用户更难以辨别。社交媒体推荐算法优先推送用户感兴趣、易传播的信息，而不考虑真实性，也阻碍了纠正信息的传播。
三、生成式人工智能虚假信息风险的应对策略
文章提出从三个维度构建治理框架。其一，完善虚假信息治理的规范体系。在法律层面，应制定专门法律法规，明确虚假信息定义，区分恶意虚假信息与无意产生的不准确信息，界定开发者、用户和平台的法律责任。建立全球化治理框架，通过联合国或地区性组织制定国际准则，强化跨国司法合作。在伦理与行业自律层面，鼓励企业联合发布行为准则，引入伦理审查委员会评估潜在风险。在技术标准层面，制定模型开发技术标准，要求产品开发阶段加入防止虚假信息生成的技术约束，推广平台治理规范，建立虚假信息审核机制，开发内容标识技术标准如数字水印和区块链记录，强制要求人工智能生成内容标注来源。
其二，厘清虚假信息治理的主体责任。政府应制定法律法规，强化监管，提供治理技术研发资金支持，设立专项治理基金，实施跨部门协调与国际合作。基础模型开发者应从数据训练和模型优化方面降低风险，引入内容生成标识机制，建立平台内容治理机制，参与行业自律。用户应提高信息素养，建立独立监督与举报支持机制，在政府、企业和公众之间发挥协调作用。
其三，优化虚假信息治理的制度环境。在立法框架上，制定专项法规，细化法律条款，赋予监管部门明确执法权力，推动司法系统快速审理虚假信息案件，推动国际立法协作。在协作机制上，成立国家虚假信息治理协调机构，建立跨部门联动机制，推动实时监测系统建设，实行分级分类治理。在信息筛选与审核机制上，建立多层次信息筛选与审核机制，形成“技术+人工+社会监督”的多层过滤体系，设立公众参与的“去中心化事实核查”机制，结合区块链技术实现信息来源追溯。在资源配置上，设立虚假信息治理专项资金，在高校开设相关课程培养跨领域人才，建设虚假信息溯源和检测中心，优化网络基础设施。
文章最后强调，生成式人工智能虚假信息风险的本质在于技术的双刃剑特性，数据来源、技术开发和传播机制的复杂性使治理面临前所未有的挑战。只有坚持技术创新与伦理规范并行、治理规则与社会协同并重，通过多方合作建立健全风险防控机制，才能在拥抱技术红利的同时守住信息真实和社会信任的底线。本文的学术价值在于将生成式人工智能虚假信息治理问题置于“风险—成因—策略”的系统框架中进行分析，特别关注个体认知、社会信任与国家安全三重维度，并试图从规范体系、主体责任与制度环境三个层面提出综合治理对策，为生成式人工智能虚假信息治理提供了具有现实意义的政策参考。