这篇文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:
《信息处理与管理》期刊2025年刊载的情绪识别研究:基于异构神经网络与微调语言模型的新型框架
作者与机构
本研究由伊朗德黑兰大学电气与计算机工程学院的Abbas Maazallahi(通讯作者)、Masoud Asadpour与设拉子科技大学计算机工程与信息技术系的Parisa Bazmi合作完成,发表于Elsevier旗下期刊《Information Processing and Management》2025年第62卷,文章编号103974。
学术背景
研究聚焦于社交媒体文本情绪分类的挑战。当前,基于微调大语言模型(Fine-tuned Large Language Models, LLMs)的情绪识别存在标签不一致(Non-compliance labeling)问题,即不同模型对同一文本的情绪标注产生冲突,导致分类准确率下降(平均降低5%以上)。该问题在非正式语境(如推特、Reddit)中尤为显著。研究旨在通过构建“合规驱动训练集”(Compliance-driven Training Set)整合多模型共识标签,并结合异构神经网络(Heterogeneous Neural Network, HNN)架构,提升情绪分类的鲁棒性。
研究流程与方法
研究分为预处理与分类两阶段:
1. 预处理阶段
- 数据来源:采用三个公开数据集——GoEmotions(Reddit评论,58,000条)、Friends(电视剧对话,11,731条)和TEC(推特文本,21,047条),覆盖27种情绪类别。
- 标签生成:使用三种微调模型(DistilRoBERTa-base、RoBERTa-large、Friends-specific DistilRoBERTa-v2)对文本独立标注情绪标签,筛选模型间标签一致的“合规样本”构建训练集。
- 创新方法:提出“标签一致性阈值”(Label Agreement Threshold),要求至少两个模型对同一文本的情绪标注完全一致,以此减少噪声标签。
主要结果
1. 性能提升:在TEC(未参与训练的数据集)上,HNN模型准确率达0.480(非合规集)和0.436(整体),较基线模型(RoBERTa: 0.401)提升8.7%。F1-score在GoEmotions非合规集上从0.434(RoBERTa)提升至0.624(HNN-min)。
2. 标签一致性分析:合规驱动训练集使非合规集的分类准确率平均提高5.2%,证明多模型共识可有效缓解标注歧义。
3. 注意力机制有效性:语义级注意力聚合的F1-score(0.56)显著高于均值聚合(0.45),验证其对复杂情绪上下文的捕捉能力。
结论与价值
1. 科学价值:
- 提出首个融合多模型标签共识与异构网络的端到端情绪分类框架,为解决LLMs标注不一致问题提供方法论。
- 证明社交媒体文本的情绪识别需结合语义(短语级特征)与结构(图网络关系),突破传统纯文本模型的局限性。
2. 应用价值:
- 框架可扩展至多语言场景(如作者团队已开发的波斯语数据集FarsInstruct),适用于公共卫生舆情监测(如COVID-19情绪追踪)等实际场景。
研究亮点
1. 方法创新:
- 合规驱动训练集通过标签协同过滤提升数据质量,较传统人工标注成本降低70%。
- 异构网络中的短语中介节点设计,首次实现情绪标签与文本局部特征的显式关联。
2. 技术突破:
- 自研的“双路径聚合”算法在Friends数据集上实现0.868的F1-score,优于单一模型(DistilRoBERTa-v2: 0.843)。
其他发现
研究揭示了当前模型的局限性:
- 精度-召回权衡:HNN在非合规集的召回率(0.677)显著高于基线,但精度(0.636)略低,反映模糊标签的固有挑战。
- 数据依赖性:Friends数据集因语境稀疏导致HNN性能波动(F1-score标准差0.14),未来需引入外部知识增强泛化性。
此报告完整呈现了研究的创新性、方法论严谨性及实际应用潜力,为后续社交媒体情绪分析研究提供了重要参考。