基于多模态数据的突发事件态势感知关键要素提取研究 学术报告
本文旨在为学术同仁介绍由贾若男、陈晓琳、肖佩（均来自湘潭大学公共管理学院）撰写，并于2025年12月23日在《情报科学》期刊网络首发的一篇原创性研究论文。本研究属于情报科学与应急管理交叉领域，聚焦于利用多模态数据分析技术，从复杂信息中提取和理解突发事件态势感知的关键构成要素。
一、 研究背景与目的
在当今社会，突发事件，尤其是自然灾害，对社会稳定与经济发展构成严峻挑战。高效的应急管理依赖于准确、全面的态势感知。态势感知（Situation Awareness）是指对环境要素的感知、理解以及对其未来状态的预测。传统研究多依赖单一模态数据（如纯文本），存在信息不完整、语义不充分等局限。例如，文本可能缺乏空间动态信息，而图像/视频则可能缺乏背景语义深度。多模态数据（Multi-modal Data）——整合文本、图像、视频等多种形式的信息——为更全面反映事件全貌、提升态势感知能力提供了新的可能。然而，尽管现有研究在理论模型和单一模态数据分析上取得了进展，但如何系统地从多模态数据中识别、量化和分析态势感知的关键要素，仍有待深入探索。
基于此，本研究旨在解决三个核心问题：第一，如何构建一个基于多模态数据的突发事件态势感知关键要素提取模型？第二，采用何种技术方法从多模态数据中识别并量化这些关键要素？第三，提取出的关键要素如何服务于应急管理实践？研究的最终目标是为构建快速响应、科学决策的突发事件应急管理体系提供数据驱动的参考依据。本研究以“湖南衡阳山体滑坡”这一突发自然灾害事件为案例，进行实证分析，以验证所提出模型的可行性与有效性。
二、 研究设计与详细流程
本研究构建了一个三层的“基于多模态数据的突发事件态势感知关键要素提取模型”。整个研究流程紧密围绕该模型展开，从要素定义、数据采集处理、特征提取到重要性分析，形成了一个完整的技术闭环。
第一层：态势感知关键要素层。 此层是研究的理论基础和概念框架。研究者基于灾害链理论，将突发事件态势感知的关键要素系统地归纳为五个维度，并进一步细分为24个子要素。这五个维度包括：1）孕灾环境（如房屋材料类型、建造地点、岩土层性质）；2）致灾因子（如降雨历时、降雨强度、地形形态）；3）承灾体（如房屋受损情况、受灾群众年龄分布与伤亡情况）；4）抗灾体（如参与救援的消防部队、武警官兵、医疗队伍、政府机构，以及应急预案、行动方案、应急物资等）；5）社会响应（如媒体报道数量与权威度、社交媒体讨论热度、公众情感反应）。每个子要素均有明确的解释和文献来源，构成了后续数据量化与分析的指标体系。
第二层：多模态数据特征提取层。 此层是研究的核心技术环节，旨在从原始多模态数据中提取能够映射到上层关键要素的特征。 * 数据获取与预处理：研究以“湖南衡阳山体滑坡”事件为案例，从微博、抖音、头条三个社交平台爬取了多模态数据。共获得文本数据1525条，图像和视频数据473条。预处理包括：对文本数据进行降噪、分词、去标点；对图像和视频数据进行降噪、像素归一化、统一分辨率与尺寸。最终得到可用于分析的文本样本1312条，图像样本200条，视频样本239条。 * 文本数据特征提取：采用了三种方法进行综合提取。首先，情感特征提取：融合知网Hownet、台湾大学NTUSD和清华大学中文褒贬义词典，对文本进行情感倾向分析，得到情感分值。其次，语义特征提取：采用XLNet预训练模型。论文指出，相比BERT，XLNet结合了自回归模型优点与双向上下文学习能力，在长文本和复杂语境下的语义提取性能更优。研究者利用XLNet生成文本的深层语义向量。最后，关键词权重特征提取：在XLNet生成的向量基础上，结合TF-IDF方法计算关键词权重，并采用余弦相似度计算向量相似度，最终融合语义相似度与关键词权重，实现多维度文本特征提取。 * 图像与视频数据特征提取：采用ResNet18卷积神经网络模型。论文解释，相较于更深层的ResNet变体，ResNet18结构更简洁，既能保留原始特征，又适合数据规模较小的训练，且在复杂图像任务中收敛稳定性好。研究利用ResNet18对处理后的图像和视频帧进行场景与对象识别，从而提取视觉特征。视频数据被逐帧处理并提取特征。 * 关键要素量化：由于提取出的多模态特征（如情感值、语义向量、视觉特征）是异构的，需要将其转化为能够对应24个子要素的数值型数据。研究为此设计了详细的量化映射方法表。例如，“材料类型”根据房屋是砖混结构（赋值为0）还是钢筋混凝土结构（赋值为1）来量化；“降雨强度”根据单位时间降水量划分为三个等级进行赋值；“消防部队是否参与”则根据事实判断，参与为1，无为0。这一步骤是将抽象数据特征与具体态势感知要素连接起来的关键桥梁。
第三层：态势感知关键要素分析层。 此层旨在融合多模态特征并分析各要素的重要性。 * 特征融合与模型训练：研究采用多层感知机（MLP）来整合从文本、图像、视频中提取出的异构特征。MLP被选择是因为其适合处理结构化特征输入并学习特征间的复杂组合。在训练过程中，使用均方误差（MSE）作为损失函数，Adam优化器进行参数优化，并引入了早停（Early Stopping）机制来防止模型过拟合。 * 要素重要性分析：在MLP模型的基础上，研究引入了SHAP（SHapley Additive exPlanations）可解释性算法。SHAP通过计算每个特征（即量化后的子要素）对模型预测结果的边际贡献，来量化该特征的重要性。这种方法能够直观地展示哪些要素在整体态势感知中起到了更关键的作用。
三、 主要研究结果
研究通过上述流程，在“湖南衡阳山体滑坡”案例上得到了具体、量化的分析结果。 1. 多模态数据特征提取结果： * 文本情感分析：情感分数分布图显示，公众的负面情绪表达更集中、一致（在分数接近-1处形成密度峰值），而正面情绪分布较均匀且分散。这表明事件引发了显著的负面公众反应。 * 文本关键词网络：通过对前75个关键词构建权重网络图发现，公众讨论集中在“平安”、“民宿”、“遇难”、“救援”、“南岳”、“泥石流”等词汇上。网络关系揭示了事件地点（南岳）、灾害类型（泥石流）、承灾体（民宿、群众）、抗灾行动（救援）以及公众情感（祈祷）之间的内在联系。 * 图像特征聚类：ResNet18提取的特征经聚类后，形成三个主要类别：聚类0（气象辅助资料，反映降雨信息）、聚类1（灾害现场全貌，显示房屋、地形及残骸）、聚类2（救援主体与行动，突出人物和救援细节）。这从视觉角度印证了孕灾环境、致灾因子和抗灾体等维度的信息。 * 视频特征聚类：视频数据被聚为五类，包括AI配音的现场报道（聚类0）、电视新闻（聚类1）、聚焦废墟挖掘的视频（聚类2）、网民个人解说（聚类3）以及记者现场报道（聚类4）。不同聚类反映了媒体报道的多样性、公众参与以及灾害细节（如材料类型、地形）的多角度呈现。
四、 结论与价值
本研究的结论是，所构建的基于多模态数据的突发事件态势感知关键要素提取模型是可行且有用的。它不仅能够从海量、异构的社交媒体数据中有效地提取出结构化的态势要素，还能通过量化分析揭示不同要素的重要性差异。 * 理论价值：本研究融合了计算机科学（XLNet, ResNet, MLP, SHAP）、情报学（多模态信息处理）和灾害学（灾害链理论），将多模态特征融合与态势感知研究相结合，丰富了多模态数据在应急情报领域的应用理论。它将传统上经验驱动的定性分析，转化为一套可重复、可验证的数据驱动的定量分析框架，为相关研究提供了新的建模思路。 * 实践价值：研究为突发事件应急管理提供了具体的决策参考。例如，重要性分析结果提示，在日常风险管理中，应更注重对“孕灾环境”的改善，如建立建筑数据库、将地质灾害风险评估纳入土地审批、利用GIS进行风险可视化等。对于“抗灾体”，应建立扁平化指挥和多方联动机制。对于“承灾体”，需特别关注脆弱群体（老人、儿童）并保障灾后基本生活设施修复。对于“社会响应”，应发挥权威媒体信息发布和谣言管控的作用。模型本身可以作为一种分析工具，帮助应急指挥者从纷繁复杂的多源信息中快速把握事件的核心要素和关键矛盾。
五、 研究亮点与局限
本研究的亮点主要体现在：1）方法论创新：首次提出了一个整合灾害链理论、多模态深度学习（XLNet, ResNet）与模型可解释性技术（SHAP）的、系统化的态势感知关键要素提取与分析模型。2）分析深度：不仅完成了要素提取，更通过SHAP进行了要素重要性排序与归因分析，使结论超越了简单的要素罗列，具备了因果解释的潜力。3）实证导向：以一个具体自然灾害案例贯穿始终，详细展示了从数据爬取、处理、分析到结果解读的全过程，验证了模型的实用性。 同时，作者也指出了研究的局限性：1）案例单一性：模型仅在一种类型的突发事件（自然灾害-山体滑坡）上进行了验证，其在不同类型事件（如社会舆情事件、事故灾难）上的泛化能力有待检验。2）数据来源局限：主要依赖公开的社交媒体数据，未能整合更多元的传感器数据、遥感影像或内部应急系统数据。针对这些局限，作者提出了未来的研究方向：考虑采用多案例迁移学习来验证模型的跨事件泛化能力，并尝试整合更多源的数据以提升分析结果的全面性和可解释性。
六、 其他有价值内容
论文在“讨论分析”部分，基于重要性分析结果，对五个维度分别提出了非常具体且具有操作性的应急管理提升建议。例如，在“孕灾环境”维度，建议构建建筑数据库、利用GIS进行风险空间分析；在“抗灾体”维度，提出建立分级医疗响应体系、运用无人机和虚拟仿真技术优化资源调度等。这些建议将学术研究发现与应急管理实践紧密结合，提升了研究的应用导向价值。此外，论文对所选技术（如选择XLNet而非BERT，选择ResNet18而非更深网络）的理由进行了清晰阐述，体现了严谨的研究设计思路。