基于轻量点云网络的面部3D区域结构运动表示用于微表情识别

基于轻量级点云网络的3D区域结构运动表示在微表情识别中的应用 学术背景 微表情(Micro-expressions, MEs)是人类情感表达中的一种短暂且微妙的面部表情,通常持续1/25到1/5秒。由于其自发性、快速性和难以控制的特点,微表情往往能够揭示个体的真实情感,因此在人机交互(Human-Computer Interaction, HCI)、心理学、刑事分析、商务谈判等领域具有重要应用价值。然而,微表情的低强度和短暂性使其识别成为一项极具挑战性的任务。传统的微表情识别方法主要依赖于2D RGB图像中的运动特征提取,忽略了面部结构及其运动在情感传达中的关键作用。为了克服这一局限,本文提出了一种创新的3D面部运动表示方法,结合了3D面部结构、区域化的RGB和结构运动特征,旨在更准确地捕捉...

多尺度双曲对比学习用于跨被试EEG情绪识别

基于多尺度双曲对比学习的跨被试脑电情绪识别研究 学术背景 脑电图(Electroencephalography, EEG)作为一种生理信号,在情感计算(Affective Computing)领域中具有重要应用。与传统的非生理线索(如面部表情或语音)相比,EEG信号具有更高的时间分辨率和客观性,能够更可靠地反映人类的情感状态。然而,EEG信号存在显著的个体差异,这使得跨被试(Cross-Subject)情绪识别成为一个具有挑战性的任务。不同个体的EEG信号受年龄、心理状态、认知特征等多种因素影响,导致预训练模型在新被试上的泛化能力较差。 为了应对这一挑战,研究者们提出了多种方法,包括基于时频域特征的分析、深度学习模型以及迁移学习等。然而,这些方法往往难以在减少被试间差异的同时保留情感特征的区...

基于互信息的多模态情感分析解耦表示学习

多模态情感分析中的互信息解耦表示学习:一项创新研究 学术背景 随着社交媒体的快速发展,用户生成的多媒体内容(如推文、视频等)数量急剧增加。这些多媒体数据通常包含三种模态:视觉(图像)、声学(语音)和文本。这些数据中隐含着丰富的情感信息,如何自动分析这些情感信息成为了一个重要挑战。多模态情感分析(Multimodal Sentiment Analysis, MSA)旨在利用多种信号来识别潜在的情感和情绪。然而,多模态表示学习是这一领域的核心挑战之一,即如何将不同模态的特征有效地整合为统一的表示。 近年来,研究者提出了两种主要方法来解决这一问题:一种方法是将多模态特征分解为模态不变(modality-invariant)和模态特定(modality-specific)的部分;另一种方法则是利用互...

基于频谱-时间调制特征的双流鲁棒语音情感识别

基于频谱-时间调制特征的双流鲁棒语音情感识别研究 学术背景 语音情感识别(Speech Emotion Recognition, SER)是通过分析人类语音中的情感内容来识别情绪的技术。它在人机交互、客户服务管理系统以及医疗等领域具有广泛的应用潜力。然而,尽管基于深度学习的SER模型在受控环境中表现出色,但在真实环境中的噪声条件下,其性能显著下降。噪声(如交通噪声、风扇噪声等)会严重干扰语音信号,导致情感识别系统的准确性大幅降低。因此,开发一种在噪声环境下依然鲁棒的SER系统成为了一个重要的研究方向。 传统的SER系统通常依赖于梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients, MFCC)和梅尔频谱图等声学特征。然而,这些特征在噪声环境下容易受到干扰,...

从认知任务中的异质神经响应推断潜在神经环路

从认知任务中的异质神经响应推断潜在神经环路 学术背景 在认知任务中,大脑的高级皮层区域(如前额叶皮层,prefrontal cortex, PFC)负责整合多种感觉、认知和运动信号。然而,单个神经元的响应通常表现出复杂的异质性(heterogeneity),即它们同时对多个任务变量做出响应。这种异质性使得研究者难以从神经活动中直接推断出驱动行为的神经环路机制。传统的维度降维方法(dimensionality reduction methods)依赖于神经活动与任务变量之间的相关性,但无法揭示这些异质响应背后的神经环路连接。 为了解决这一问题,Christopher Langdon和Tatiana A. Engel开发了一种新的维度降维方法——潜在环路模型(Latent Circuit Mod...

神经群体活动的时间动态约束

神经群体活动的时间动力学约束:脑机接口揭示的神经计算机制 学术背景 大脑的神经活动如何随时间演化,是理解感知、运动和认知功能的核心问题之一。长期以来,神经网络模型认为,大脑的计算过程涉及由网络连接塑造的神经活动时间进程。这一观点提出了一个关键预测:神经活动的时间进程应该是难以违反的。然而,这一预测在实际的生物学神经网络中是否成立,尚未得到直接验证。为了回答这一问题,研究人员利用脑机接口(Brain-Computer Interface, BCI)技术,挑战猴子违反其运动皮层中自然出现的神经群体活动时间进程,包括尝试以时间反转的方式遍历这些活动进程。通过这一实验,研究团队试图验证神经活动的时间进程是否反映了底层网络的计算机制,并探讨这些进程是否可以被人为改变。 论文来源 这篇论文由 Emily...