类型a

主要作者与机构及发表信息
本研究的主要作者为G S Rajshekar Reddy和Damien Rompapas，均隶属于Brewed Engagement Extended Reality Labs（位于澳大利亚南澳大利亚州阿德莱德）。该研究于2021年6月在ACM国际互动媒体体验会议（IMX ‘21）上发表，并以虚拟形式举办。

学术背景
本研究属于人机交互与增强现实（Augmented Reality, AR）领域，旨在通过AR技术探索音乐可视化（Music Visualization）对情感状态的激发作用。随着数字音乐的普及，人们可以轻松地获取和消费音乐，但如何通过视觉手段丰富个人空间中的音乐聆听体验仍是一个未被充分开发的领域。此外，新冠疫情导致线下音乐会无法正常举行，促使许多活动转向虚拟环境（如AltspaceVR、Fortnite等平台）。在此背景下，本研究提出了Liquid Hands系统，一种基于AR的粒子音乐可视化工具，旨在通过三维粒子对音乐流动的反应，结合手部交互功能，提供沉浸式的音乐体验，并尝试弥合虚拟与实体音乐会之间的差距。研究的主要目标是通过脑电图（Electroencephalography, EEG）测量用户心理状态，探索该系统是否能够激发与实体音乐会相似的情感反应。

研究工作流程
本研究的工作流程包括以下几个主要步骤：

1. 系统设计与开发
   Liquid Hands系统基于Project Esky API构建，整合了六自由度追踪（Six-Degree-of-Freedom Tracking）、手部追踪、Microsoft的混合现实工具包（Mixed Reality Toolkit, MRTK）以及Unity游戏引擎，从而实现高保真的AR体验。系统使用Project NorthStar光学透视头戴式显示器（Head-Mounted Display, HMD），其视场角（Field of View, FOV）达100度对角线范围。HMD通过Stereolabs Zed Mini提供六自由度追踪能力，并利用Leap Motion控制器进行手部追踪。开发硬件为HP VR G2背包式PC，配备Intel Core i7-8850H处理器、32GB内存和NVIDIA GeForce RTX 2080显卡。

2. 音频信号处理
   系统首先将音频信号从时域转换到频域，使用快速傅里叶变换（Fast Fourier Transform, FFT）结合Blackman窗口技术来防止频谱泄漏并平滑音频信号的非平稳特性。频域信号被划分为七个主要频率带，计算其平均振幅并归一化后作为粒子系统的输入。此外，系统还引入缓冲机制以确保振幅逐渐下降，避免因突然变化导致的不愉快体验。

3. 粒子系统设计
   粒子系统采用Unity的VFX Graph作为底层技术，每个粒子由小型精灵（Sprites）或3D模型构成，其参数（颜色、位置、大小、生命周期等）受音频信号控制。具体而言：

   • 向量场力（Vector Field Force）：音频振幅控制虚拟力场的大小和强度，从而推动粒子移动；
     
   • 线性阻力（Linear Drag）：音频振幅与粒子阻力成反比，音乐平静时粒子运动更缓慢；
     
   • Alpha阈值（Alpha Threshold）：音频振幅控制粒子透明度，模拟频闪效果；
     
   • 颜色（Color）：粒子颜色梯度映射至其速度，振幅增加时粒子速度加快并改变颜色。
     此外，系统还加入了一维值噪声（Value Noise）以使粒子运动更加自然。粒子的生命周期随机设置为3-8秒，生成速率为每秒七百万个。
     

4. 手部-粒子交互
   手部交互通过Leap Motion控制器追踪用户手部动作，并将其网格模型转化为有符号距离场（Signed Distance Field, SDF）。SDF将网格内外的距离存储为纹理，正值表示外部，负值表示内部，边缘接近零。通过算法将多边形网格转换为体素（Voxels），并利用Jump Flooding算法生成Voronoi图以确保体素与网格像素最近。最终，粒子系统根据SDF调整粒子行为，使其聚集到手部网格周围，营造出粒子追逐手部的效果。

5. EEG实验设计
   为了验证Liquid Hands系统是否能激发与实体音乐会相似的情感状态，研究计划通过EEG测量用户的心理状态。EEG通过放置在用户头部的电极记录神经元通信产生的微弱电信号，用于分类情感状态。由于疫情限制，研究面临物理音乐会中收集EEG数据的挑战，因此考虑使用功能性近红外光谱（Functional Near-Infrared Spectroscopy, fNIRS）作为替代方案。此外，研究还计划使用日内瓦情绪音乐量表（Geneva Emotional Music Scale, GEMS）问卷校准EEG分类结果，并为每位参与者建立基线。

主要结果
尽管本文未详细展示实验数据，但研究设计表明，Liquid Hands系统通过以下方式实现了预期目标：
1. 粒子系统与音频信号的同步性：音频信号的频率特征直接影响粒子的颜色、运动和速度，形成直观且沉浸式的音乐可视化效果。
2. 手部交互的增强体验：通过手部追踪与SDF技术，用户可以直观地控制粒子行为，增强了参与感和沉浸感。
3. 情感激发的潜力：初步假设表明，系统可能通过感知连接性（Perception of Connectedness）激发与实体音乐会相似的情感状态。未来EEG实验将进一步验证这一假设。

结论与意义
本研究展示了Liquid Hands系统在个人空间中丰富音乐聆听体验的潜力。其科学价值在于探索了AR技术与音乐可视化的结合方式，并为情感激发的研究提供了新方法。应用价值则体现在虚拟音乐会、心理健康干预（如缓解焦虑、促进正念）等领域。

研究亮点
1. 创新性方法：首次提出基于AR的粒子音乐可视化系统，结合手部交互功能，提供沉浸式体验。
2. 跨学科融合：整合计算机图形学、音频信号处理和心理学方法，探索音乐与情感的关系。
3. 潜在应用广泛：不仅适用于虚拟音乐会，还可用于正念练习和心理健康干预。

其他有价值内容
研究还探讨了系统的未来发展方向，包括多用户支持、环境适应性改进以及多模态交互设计等，为进一步研究提供了明确方向。