该文档属于类型a,即报告了一项原创性研究。以下是针对该研究的学术报告:
作者及机构
本研究由Qingbao Huang(第一作者,广西大学电气工程学院)、Zehua Deng、Shizhen Chen、Yifei Chen(广西大学计算机与电子信息学院)及Feng Shuang(广西大学电气工程学院/广西电力装备智能控制与维护重点实验室)共同完成,发表于NLPCC 2024会议(Springer LNAI系列,2025年出版)。
学术背景
研究领域与动机
研究聚焦于电力领域仇恨言论检测(hate speech detection),属于自然语言处理(NLP)与社会计算交叉领域。当前仇恨言论检测研究多集中于种族、性别等常见主题,而电力行业因其专业性和封闭性,公众易受虚假信息误导,导致针对电力行业的仇恨言论在社交媒体(如微博)隐蔽传播,可能引发社会信任危机、行业形象损害甚至公共安全风险(如煽动对电网公司的暴力行为)。
研究目标
- 填补空白:首次提出电力领域仇恨言论检测任务,构建首个电力领域仇恨言论数据集P-Hat(含6000条微博文本及图像)。
- 方法创新:提出基于提示学习(prompt learning)的检测模型ProPH,融合电力领域知识(如专业术语、工作场景)提升检测精度。
研究流程详述
1. 数据收集与处理
- 数据来源:通过关键词(如“电老虎”“垃圾电网”)爬取微博内容,筛选非转发、文本长度3-150字的帖子。
- 数据清洗:去除重复文本/图像、外部链接、无意义符号及用户提及(@),保留语义清晰的6000条数据(仇恨/非仇恨各占50%)。
- 数据集划分:按8:1:1分为训练集(4800条)、验证集(600条)和测试集(600条)。
2. 数据标注
- 标注流程:通过众包平台CrowdVilan进行多数投票标注,由电力专业研究生团队(2名标注员+1名仲裁员)完成。标注标准分为两类:
- 非仇恨:中性或正面评价电力行业的内容。
- 仇恨:含贬损、威胁或煽动性言论(如“电老虎吸血”)。
- 质量控制:标注不一致时由仲裁员介入,确保标注一致性。
3. 模型构建(ProPH)
核心创新:结合视觉语言模型(VLMs)与提示学习,解决电力领域专业术语和场景理解难题。
- 图像描述生成:使用预训练模型Qwen-VL Plus将微博图像转化为文本描述,补充电力工作场景信息(如“电力设施维修”)。
- 提示模板设计:
- 模板结构:包含正例(正常微博)、反例(仇恨微博)和待预测实例,标签词映射为自然语句(如“This is [good/bad]”)。
- 示例:
[正例文本]<sep>[图像描述]<sep>This is good [反例文本]<sep>[图像描述]<sep>This is bad [待预测文本]<sep>[图像描述]<sep>This is [mask]
- 训练与预测:基于RoBERTa模型,通过掩码语言建模(MLM)任务预测标签词(“good”或“bad”),损失函数为交叉熵。
4. 实验设计
- 基线模型:对比BERT、RoBERTa及其中文变体,以及政治仇恨词典方法(PTSD)。
- 评估指标:准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值。
- 超参数:学习率3e-5(ProPH)、批量大小8、最大训练轮次10。
主要结果
- 模型性能:
- ProPH在测试集上全面超越基线模型,F1达91.03%(较RoBERTa中文版提升6.61%)。
- 关键指标:准确率91.23%、精确率93.20%、召回率88.96%。
- 消融实验:
- 移除图像描述时F1下降6.7%,证明电力场景信息对检测至关重要。
- 移除提示模板时F1下降2.44%,显示模板设计的有效性。
- 案例分析:
- ProPH能通过图像描述纠正文本歧义(如“电力十足工人”被误判为仇恨时,结合图像判定为非仇恨)。
- 专业术语(如“电网改造”)与图像场景(如“维修作业”)的关联增强模型判断能力。
结论与价值
- 科学价值:
- 首创电力领域仇恨言论检测任务,拓展NLP在社会关键行业的应用边界。
- 提出的多模态提示学习框架为领域特定仇恨检测提供新范式。
- 应用价值:
- 助力电网公司实时监测舆情,降低社会冲突风险。
- 数据集P-Hat公开促进后续研究。
研究亮点
- 领域创新:首次系统定义电力仇恨言论的特征(如专业术语滥用、场景关联性)。
- 方法优势:
- 融合视觉语言模型与提示学习,解决领域知识缺乏问题。
- 无需额外分类头,保持预训练模型的高效性。
- 社会意义:为能源、交通等专业领域仇恨言论治理提供技术参考。
其他价值
- 局限性:图像描述偶现关键信息遗漏(如未识别“儿童参观”场景),未来需增强逻辑推理模块。
- 伦理声明:数据集仅用于科研,标注过程避免偏见传播。
(报告字数:约2000字)