分享自:

大型语言模型与分析歧视性话语的挑战:人机协同研究社交媒体上的仇恨言论

期刊:journal of multicultural discoursesDOI:10.1080/17447143.2025.2476967

这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:


大型语言模型在歧视性话语分析中的挑战:社交媒体仇恨言论研究的人机协同

作者及机构
本研究由剑桥大学理论及应用语言学系的Petre Breazu、Songbo Hu和Napoleon Katsos,以及美国西北大学创新、网络与知识实验室(LINK)的Miriam Schirmer合作完成,发表于2025年3月的*Journal of Multicultural Discourses*(DOI: 10.108017447143.2025.2476967)。

学术背景
研究领域为计算社会科学与批判话语分析(Critical Discourse Analysis, CDA),聚焦大型语言模型(Large Language Models, LLMs)在定性研究中的应用潜力与局限。研究动机源于LLMs(如GPT-4)在文本分析中的高效性与其在文化嵌入性话语(culturally embedded discourse)意识形态话语(ideological discourse)解析中的不足。具体而言,LLMs常对仇恨言论进行“去政治化”或“中性化”分类,掩盖了话语中的权力结构与历史语境。研究旨在探索人机协同(Human-AI Synergy)如何弥补这一缺陷,并评估GPT-4在主题分析(Thematic Analysis, TA)中对瑞典YouTube上针对罗姆人(Roma)移民的仇恨言论的解析能力。

研究流程
1. 数据准备与背景
- 研究对象:474条瑞典YouTube视频评论,内容涉及罗姆乞讨者的社会争议。数据源自欧盟资助项目,已由人类研究者通过NVivo软件完成初步分类。
- 社会背景:瑞典自2007年欧盟东扩后,罗姆移民因经济原因涌入,其乞讨行为引发公共秩序争议,反罗姆情绪(Romaphobia)在社交媒体中显著。

  1. 实验设计

    • 归纳性主题分析(Inductive TA)
      • GPT-4独立分析数据,遵循Braun & Clarke(2006)的六步主题分析法(熟悉数据、生成初始编码、识别主题、优化主题、定义主题、生成报告)。
      • 数据分7批次输入,避免预设类别干扰,最终生成5大主题(如“种族误解”“经济担忧”)。
    • 演绎性分类(Deductive TA)
      • GPT-4根据人类定义的6类仇恨话语框架(如“民粹主义”“极端仇恨言论”)重新分类评论,通过OpenAI API(GPT-4-turbo-2024-04-09)完成,温度参数设为0.1以减少随机性。
    • 提示工程优化
      • 通过迭代优化提示词(如引入文化话语研究理论框架),提升模型对仇恨言论的敏感度。
      • 新增“无类别(None)”选项以处理模糊评论,避免强制归类偏差。
  2. 数据分析方法

    • 人类-AI对比:4名话语分析专家评估GPT-4与人类分类的一致性。
    • 量化指标:统计主题分布频率,比较“无类别”选项引入前后的分类差异。

主要结果
1. 归纳性分析中的中性化倾向
- GPT-4生成的5类主题(如“刻板印象”)虽覆盖了人类分类的广度,但弱化了意识形态维度。例如,将“罗姆人是寄生虫”归类为“社会偏见”而非“仇恨言论”,忽视了其去人性化(dehumanizing)本质。
- 支持数据:193条评论(40.72%)被归为“无类别”,凸显模型对隐含偏见或反讽的识别不足。

  1. 演绎性分类的局限性

    • 使用人类框架时,GPT-4仅成功分类48.52%的评论(230条),其余51.48%被标记为“无类别”。
    • 关键误分类案例
      • 评论“应称他们为吉普赛人……”被归为“文化种族主义”,但人类标注为“极端仇恨言论”,因“吉普赛人”一词具有历史贬义。
      • 模型将“罗姆人不工作”归为“经济问题”,而人类识别出其文化种族主义(cultural racism)内核。
  2. 人机协同的价值

    • 理论驱动提示(theory-driven prompting)显著提升分类准确性。例如,加入“民粹主义”定义后,GPT-4更易识别“我们vs他们”的排外叙事。
    • 人类专家通过修正模型输出,弥补了LLMs在语境深度(contextual depth)历史关联性(historical embeddedness)上的缺陷。

结论与价值
1. 科学意义
- 揭示了LLMs在定性研究中的“中性化偏见”,呼吁开发文化意识训练(culturally informed training)政治语境数据集以优化模型。
- 提出“人机协同”方法论框架,强调人类专家在批判性解读(critical interpretation)中的不可替代性。

  1. 应用价值
    • 为社交媒体平台仇恨言论监测提供混合分析方案,平衡效率与准确性。
    • 提示工程策略可推广至其他敏感话题(如种族、移民)的AI辅助研究。

研究亮点
1. 创新方法:首次系统评估GPT-4在仇恨言论主题分析中的表现,结合归纳与演绎双路径。
2. 跨学科贡献:融合计算语言学与批判话语研究,挑战LLMs的“文化无意识”局限。
3. 伦理反思:指出AI内容审核策略可能无意间强化主流话语霸权,需引入边缘化视角。

其他价值
- 研究数据公开于欧盟项目,为后续比较研究提供基准。
- 团队开发的理论驱动提示模板已开源,助力学术共同体优化LLMs应用。


此报告全面覆盖了研究的背景、方法、发现与意义,可作为相关领域学者的参考。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com