量子多模态神经网络模型在情感分析中的应用研究

作者及机构
本研究的核心作者包括Jin Zheng（北京航空航天大学自动化科学与电气工程学院、中关村实验室、北航杭州创新研究院）、Qing Gao（同前，通讯作者）、Daoyi Dong（澳大利亚国立大学工程学院）、Jinhu Lü（北京航空航天大学、中关村实验室、北航杭州创新研究院）以及Yue Deng（北京航空航天大学宇航学院）。研究成果发表于2025年5月的《IEEE Transactions on Artificial Intelligence》第6卷第5期。

学术背景
本研究属于量子机器学习（Quantum Machine Learning, QML）与多模态数据分析的交叉领域。随着量子计算技术的进步，噪声中等规模量子（Noisy Intermediate-Scale Quantum, NISQ）处理器逐渐成熟，量子神经网络（Quantum Neural Networks, QNNs）在单模态数据（如图像、文本）处理中展现出优势，但其在多模态数据（如结合图像与文本的情感分析）中的应用尚未深入探索。传统经典模型在处理多模态数据时面临高维度、复杂关联等挑战，而量子计算的并行性和纠缠特性为多模态特征融合提供了新思路。本研究旨在提出一种可参数化量子电路（Parameterized Quantum Circuits, PQCs）实现的量子多模态神经网络（Quantum Multimodal Neural Network, QMNN）模型，以解决多模态情感分析中的计算效率与性能问题。

研究流程与方法
1. 多模态数据预处理
- 数据向量化：
- 图像数据：通过卷积自编码器将图像降维至64维向量，采用深度学习提取高阶特征。
- 文本数据：利用GloVe词嵌入（200维）生成句子向量，并通过融合函数（如平均池化）压缩为64维。
- 量子编码：采用振幅编码（Amplitude Encoding）将向量转换为量子态，12个量子比特可编码4096维数据，显著降低资源需求。

1. 单模态特征提取

   • 量子卷积层架构：设计通用2量子比特门（Universal 2-Qubit Gate）的PQCs，通过参数共享（每层15个参数）提取视觉与文本特征。该门通过3个单量子比特旋转门（RX, RY, RZ）和3个CNOT门实现任意酉变换。
     

2. 多模态特征融合

   • 量子全连接层：对比“电路块”（Circuit-Block）与“全连接”（All-to-All）两种架构，前者通过RY门与跨步CNOT门（步长1、3、6）实现强纠缠，熵值分析显示其纠缠能力优于后者（见图7）。
     

3. 优化与输出

   • 量子测量：以泡利Z算符测量输出量子态，通过Sigmoid函数映射为情感标签（正面/负面）。
     
   • 训练算法：量子随机梯度下降（QSGD）结合参数偏移规则（Parameter-Shifting Rule）优化66个参数，损失函数为二元交叉熵。
     

主要结果
1. 性能对比
- 在MVSA-Single和MVSA-Multiple数据集上，QMNN以仅66个参数和12量子比特，测试准确率分别达73.27%和90.08%，超越经典模型（如CNN-Multi、RMNN）（表IV）。
- 低维度优势：QMNN在64维输入下性能优于经典模型的128维输入，验证量子编码的高效性。

1. 内部性能分析

   • 纠缠效应：Circuit-Block融合块的强纠缠特性（平均熵值0.82）显著提升多模态交互能力（图8）。
     
   • 完整性验证：消融实验表明，移除图像特征提取块或文本块分别导致准确率下降至67.43%和72.85%，证实各模块必要性（表V）。
     

2. 外部鲁棒性

   • 抗噪能力：在20%相位翻转噪声下，准确率仅下降1.25%（图9）。
     
   • 输入缺失容忍：同时遮挡25%文本和40%图像像素时，准确率保持72.11%（表VII）。
     

3. 可扩展性

   • 量子比特数从8增至14时，准确率提升至73.32%；三层网络结构较单层提升0.2%（表VIII）。
     

结论与价值
1. 科学价值
- 首次将PQCs应用于多模态情感分析，提出QMNN的四模块框架，为量子机器学习拓展新方向。
- 通过量子纠缠增强特征融合，理论验证了量子计算在多模态关联学习中的潜力。

1. 应用价值
   
   • 在NISQ时代资源受限条件下，QMNN为大规模多模态数据（如社交媒体情感分析）提供轻量化解决方案。
     
   • 模型对噪声和不完整输入的鲁棒性，适配现实场景中的低质量数据。
     

研究亮点
1. 方法创新：
- 通用2量子比特门的参数共享设计，大幅降低参数数量（仅66个）。
- Circuit-Block融合块通过跨步CNOT实现高效纠缠，为量子多模态融合提供新范式。

1. 性能突破：

   • 以极低输入维度和参数量超越经典模型，证明量子计算在多模态任务中的优越性。
     

2. 前瞻性：

   • 提出未来方向：扩展至音频模态、多任务学习，以及适配更复杂量子硬件架构。
     

其他价值
- 实验部分公开代码基于PennyLane平台，促进量子机器学习社区的方法复现与改进。
- 通过五折交叉验证与噪声模拟，确保结果统计显著性与实际适用性。

（全文约2400字）