本文档属于类型a，即报告了一项原创研究。以下是针对该研究的学术报告：
主要作者与机构
本研究由Neha Minder Singh和Sanjay Kumar Sharma共同完成，两位作者均来自印度印多尔东方大学计算机科学与工程学院。该研究发表于2024年的期刊《Multimedia Tools and Applications》上，具体卷号为83，页码为20507–20535。
学术背景
随着社交媒体的普及，网络欺凌（cyberbullying）已成为一个严重的社会问题，尤其对青少年、儿童和成年人造成了情感和心理上的伤害。尽管已有许多研究致力于检测网络欺凌，但大多数研究仅基于文本内容，忽略了视觉和音频等多媒体形式。因此，本研究旨在开发一种自动化的多模态网络欺凌检测系统，通过融合文本、图像和音频数据，利用多模态决策融合分类器（Multi-Modal Decision Fusion Classifier, MMDFC）来提高检测的准确性。
研究流程
本研究的主要流程包括数据收集、多模态生成、基于分数的融合和分类。具体步骤如下：
1. 数据收集：从公开的社交媒体平台和在线资源中收集多模态数据，包括文本、图像和音频。文本数据来自Kaggle的推文数据集，图像数据来自在线资源，音频数据来自ADIMA（Abuse Detection in Multilingual Audio）数据集。
2. 多模态生成：
- 文本模态生成：首先对文本数据进行预处理，包括去除噪声（如URL、表情符号、标签和标点符号）、词干提取、转换为小写和去除停用词。然后使用TF-AIDF（Term Frequency-Average Inverse Document Frequency）技术提取特征，并通过混合双向长短期记忆网络辅助注意力分层胶囊网络（BiLSTM-AHCNet）生成文本模态。
- 图像模态生成：使用调优的Aquila EfficientB0（Tuned AEB0）模型生成图像模态。该模型结合了元启发式优化方法，通过Aquila优化器调整超参数，以提高模型的训练效果。
- 音频模态生成：使用Librosa库提取音频特征，如对数梅尔频谱（Log-Mel Spectrograms）、能量、振幅包络和零交叉率（Zero-Crossing Rate），并通过注意力卷积神经网络（ACNN）生成音频模态。
3. 特征融合与分类：将生成的文本、图像和音频模态通过多模态决策融合分类器（MMDFC）进行融合，并使用Softmax层进行分类。在融合阶段，基于马群优化算法（Horse Herd Optimization）的加权方案被用于提高特征的准确性。
4. 实验与分析：使用Python进行仿真分析，通过测量准确率（98.23%）、F1分数（98.22%）、特异性（98.47%）和AUC（0.982）等性能指标，验证了所提技术的有效性。
主要结果
1. 文本模态生成：通过BiLSTM-AHCNet模型生成的文本模态在分类任务中表现出色，准确率达到98.23%。
2. 图像模态生成：调优的Aquila EfficientB0模型在图像模态生成中表现优异，显著提高了分类的准确性。
3. 音频模态生成：通过ACNN模型生成的音频模态在分类任务中也取得了较高的准确率。
4. 多模态融合与分类：MMDFC框架在多模态融合中表现出色，准确率达到98.23%，显著优于现有的单模态或双模态检测方法。
5. 对比分析：与现有的深度学习模型（如CNN、BiLSTM、DNN、RNN和Autoencoder）相比，所提出的方法在准确率、F1分数和AUC等指标上均表现更优。
结论
本研究提出了一种基于深度学习的多模态网络欺凌检测框架，通过融合文本、图像和音频数据，显著提高了检测的准确性。该框架在处理多模态数据时表现出色，能够有效识别社交媒体中的欺凌行为。实验结果表明，所提出的方法在准确率、F1分数和AUC等性能指标上均优于现有的检测方法，具有较高的科学价值和应用价值。
研究亮点
1. 多模态融合：本研究首次将文本、图像和音频三种模态融合，提出了一种全新的多模态网络欺凌检测框架。
2. 创新模型：提出了BiLSTM-AHCNet、Tuned AEB0和ACNN等创新模型，分别用于生成文本、图像和音频模态。
3. 优化算法：在特征融合阶段，引入了马群优化算法，进一步提高了分类的准确性。
4. 高性能表现：所提出的方法在多个性能指标上均表现优异，尤其是在准确率和AUC方面，显著优于现有方法。
其他有价值的内容
本研究还通过消融实验（Ablation Experiments）验证了各个模块的重要性，证明了每个模块对整体性能的贡献。此外，研究还在其他流行的数据集（如Wisconsin数据集和Bullying Traces数据集）上进行了性能分析，进一步验证了所提出方法的鲁棒性和通用性。