分享自:

人工智能在健康信息生成中的应用:基于大语言模型和提示工程的实证研究

期刊:Frontiers in CommunicationDOI:10.3389/fcomm.2023.1129082

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


人工智能在健康信息生成中的应用:基于大型语言模型(LLM)与提示工程的实证研究

作者及机构
本研究由密歇根州立大学传播学系的Sue Lim和Ralf Schmälzle合作完成,发表于2023年5月26日的开放获取期刊*Frontiers in Communication*(DOI: 10.3389/fcomm.2023.1129082)。通讯作者为Sue Lim(limsue@msu.edu)。

学术背景
研究领域为健康传播(health communication)与人工智能(AI)的交叉应用,聚焦于利用大型语言模型(Large Language Model, LLM)生成健康意识信息。研究背景基于以下关键问题:
1. 健康传播的瓶颈:传统健康宣传活动依赖人工撰写信息,耗时且难以匹配社交媒体快速传播的需求。
2. AI技术的突破:生成式深度学习(generative deep learning)的进展(如GPT-3、BLOOM等模型)为自动化文本生成提供了新工具。
3. 理论空白:现有研究未充分探索AI生成信息在质量、清晰度及传播效果上是否媲美甚至超越人工内容。
研究以叶酸(folic acid, FA)为例,测试AI生成信息的潜力,因其对预防胎儿神经管缺陷(neural tube defects, NTDs)至关重要,但公众认知度不足。

研究流程与方法
研究分为四个核心步骤:

  1. 数据收集与预处理

    • 人类生成信息库:通过Python的snscrape工具爬取Twitter上带有#folicacid或#folate标签的42,646条推文,筛选出转发量最高的30条作为基准数据。
    • 清洗标准:剔除重复、非英语、含商业推广(如“购买”“订单”)的内容,保留来自权威机构(如CDC、WHO)的推文。
  2. 提示工程(prompt engineering)与AI信息生成

    • 提示设计:基于高转发推文的句式结构,设计6类提示(如“Every woman needs #folicacid every day”)。
    • 模型选择:采用开源模型BLOOM-7B1(参数量70亿),通过Transformer架构生成文本。
    • 生成参数:设定温度(temperature=0.7)、top-k=40、top-p=0.9,控制生成多样性与准确性平衡。
    • 生成规模:首轮生成600条信息,经筛选(剔除错误信息、非美国机构引用等)保留30条用于人工评估;扩展生成3000条用于计算分析。
  3. 人工评估实验

    • 样本设计
      • 大学生样本(n=109,女性占比70%):评估信息质量(1-5分)与清晰度。
      • 年轻女性样本(n=40,25-35岁):模拟目标受众(育龄女性)。
    • 评估指标:采用Likert量表,对比AI与人类生成信息的得分差异。
  4. 计算分析

    • 文本特征分析:包括n-gram词频、语义相似度(cosine similarity)、可读性(Flesch阅读易度评分)、情感分析(VADER工具)。
    • 主题建模:使用LDA(Latent Dirichlet Allocation)识别信息主题分布。

主要结果
1. 人工评估结果
- AI生成信息在质量(大学生样本:3.77 vs. 3.42;年轻女性样本:4.38 vs. 3.65)和清晰度(大学生样本:3.65 vs. 3.23;年轻女性样本:4.08 vs. 3.42)上均显著优于人类生成内容(p<0.001)。
- 年轻女性样本对AI信息的评价更高,印证其内容对目标人群的适配性。

  1. 计算分析结果
    • 语义与主题:AI与人类信息均聚焦“孕期叶酸补充”“神经管缺陷预防”,但AI信息更强调预防性措辞(如“reduce risk”)。
    • 可读性与情感:两者无显著差异(Flesch评分:AI=63.4 vs. 人类=68.4;情感极性:AI=0.25 vs. 人类=0.23)。
    • 语义相似度:AI生成信息内部相似度更高(0.59 vs. 0.43),表明风格更统一。

结论与价值
1. 科学价值
- 方法创新:首次将BLOOM模型与提示工程结合,无需微调(fine-tuning)即可生成高质量健康信息,简化了AI在传播学的应用流程。
- 理论启示:为“信息生成-传播效果”研究提供了可量化工具,填补了传播学对自动化内容创作机制的理解空白。

  1. 应用价值
    • 健康宣传效率:AI可在短时间内生成大量信息,缓解公共卫生机构的内容生产压力。
    • 伦理意义:强调AI需在人类监督下作为辅助工具,避免误导性内容生成。

研究亮点
1. 跨学科融合:将自然语言处理(NLP)技术与健康传播需求结合,推动AI在社会科学中的应用。
2. 严格对比基准:以高转发人类推文为对照,提升结论说服力。
3. 可扩展性:提示工程策略可迁移至其他健康议题(如疫苗接种、癌症筛查)。

其他发现
- 局限性:仅测试叶酸单一主题,未来需扩展至其他健康领域;未评估信息对态度或行为改变的实际影响。
- 伦理讨论:研究者指出需警惕AI生成信息的潜在滥用,如传播伪科学内容。


此报告全面涵盖了研究的背景、方法、结果与意义,为相关领域学者提供了详实的参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com