基于STM32的多模态语音导航智能导盲杖：一项旨在提升视障人士出行安全与自主性的综合性研究

一、 研究团队与发表信息

本研究由玉林师范学院的张徐东、罗桂生、谢佳能、樊柳岑、覃秀娟、李佳红共同完成。研究成果以学术论文形式发表于《物联网技术》期刊2026年第8期。

二、 研究背景与目的

本研究属于物联网技术与智能辅助设备交叉的工程应用领域。随着社会对残障群体关怀的深入，视障人士的出行辅助工具成为重要研究方向。据统计，中国视障人数已超过1731万（截至2024年），他们出行面临环境感知困难、障碍物规避能力不足等严峻挑战。传统的导盲杖、导盲犬等辅具普遍存在功能单一、缺乏实时交互与远程监控能力等问题，难以满足视障人士安全、自主、高效出行的需求。

近年来，物联网、传感器及边缘计算技术的发展催生了基于多传感器融合的智能导盲系统。现有系统多采用超声波、红外、摄像头等设备进行环境感知，并在嵌入式平台处理，在一定程度上提升了安全性。然而，现有系统仍存在显著局限：多数仅聚焦于局部避障，缺乏与高精度定位、路径规划及地图导航的有效融合，无法实现从起点到终点的全程引导；同时，人机交互（如语音识别）的实时性、准确性及友好性不足，影响实际体验。

针对上述问题，本研究旨在设计并实现一款功能集成度更高的智能导盲设备。核心目标是：融合多种技术，构建一个集实时避障、精准定位、语音导航、跌倒报警、健康监测与远程通信于一体的智能辅助系统，最终实现“助视、助行、助自理”的综合目标，全面提升视障人士的出行安全性、自主性与生活自理能力。

三、 详细研究流程与方法

本研究是一项系统工程设计与实现，其工作流程涵盖了硬件设计、软件算法开发、系统集成与功能测试等多个紧密衔接的环节。研究“对象”是所设计的智能导盲杖原型系统本身，而非生物或社会样本。其详细流程如下：

1. 总体方案设计与硬件平台构建：
研究首先进行了顶层设计，确定了以STM32微控制器为核心的系统架构。研究团队设计并集成了多模态传感器与功能模块，构建了完整的硬件平台。核心模块包括：

• 感知模块： HC-SR04超声波传感器（用于前方障碍物距离探测）、ESP32-CAM摄像头模块（用于图像采集与识别）、MPU6050姿态传感器（用于跌倒检测）、MAX30102传感器（用于心率血氧监测）、以及温湿度、光敏等环境传感器。
• 定位与通信模块： Air780EG模块（集成GPS定位与4G通信功能），负责获取用户经纬度并将数据上传至云端。
• 交互与反馈模块： ASRPRO离线语音识别与播报模块（用于接收指令和提供语音提示）、振动反馈模块、OLED显示屏、一键报警按钮及示警灯。
  各模块通过特定接口（如UART串口、I2C等）与STM32主控连接，形成一个协同工作的硬件系统。硬件设计考虑了低功耗、可靠性与环境适应性。

2. 核心功能算法的开发与实现（软件设计）：
在Keil5环境下使用C语言进行嵌入式软件开发，实现了多任务调度与数据处理。

• 环境感知与避障流程：
  • 超声波避障： 程序控制STM32向HC-SR04的TRIG引脚发送脉冲，触发超声波发射，并通过测量ECHO引脚高电平持续时间t，依据公式 s = 340 * t / 2 计算障碍物距离。当距离小于预设安全阈值时，STM32通过串口指令触发ASRPRO模块播报“前面有障碍物”的语音警告。
  • 视觉识别避障： 这是一个关键的技术环节。研究团队自主构建了包含行人、电动车、石块、垃圾桶等类别的盲道障碍物图像数据集。使用PyCharm平台，基于YOLOv8模型对数据集进行训练与优化，并对模型进行了轻量化处理以适应嵌入式平台的计算能力。最终，将优化后的YOLO模型部署到ESP32-CAM模块中。ESP32-CAM独立运行图像采集与轻量化YOLO模型推理，当识别到预设类别的障碍物时，通过串口将识别结果（如“行人”、“电动车”）发送给STM32，进而驱动语音模块播报具体、定向的障碍物信息，实现了比单纯超声波测距更智能的环境感知。
• 定位、导航与远程通信流程：
  • STM32通过串口与Air780EG模块通信，发送AT指令获取GPS经纬度数据，为路径规划提供位置基准（文中提及语音输入目的地后自动规划路径，但具体路径规划算法未详细阐述，推测为基于GPS坐标的简单导航逻辑或与外部服务结合）。
  • 同时，STM32将GPS位置、传感器数据（心率、血氧、姿态角等）打包，通过Air780EG的4G网络，采用MQTT通信协议上传至OneNET物联网云平台，实现数据持久化存储。
• 健康与安全监测流程：
  • 生理参数监测： MAX30102传感器通过特定波长的光吸收原理检测血管搏动，STM32采集其信号并计算得出心率和血氧饱和度数据。
  • 跌倒检测算法： 这是本研究涉及的一个核心自研算法。STM32通过I2C接口读取MPU6050的加速度计和陀螺仪原始数据。算法流程为：首先从加速度计数据解算俯仰角（pitch）和横滚角（roll）；同时对陀螺仪数据进行积分得到角度变化；随后采用互补滤波算法（融合系数为0.98） 将加速度计得到的角度（抗动态噪声差但长期稳定）与陀螺仪积分得到的角度（短期精确但存在漂移）进行融合，输出稳定、准确的姿态角。当检测到俯仰角 > 30°（后倾）或 < -30°（前倾）、横滚角 > 45°（左斜）或 < -45°（右斜）时，系统判定为跌倒事件。一旦跌倒发生，STM32立即通过4G模块向预设家属手机发送报警短信，并可能触发本地报警。
• 人机交互流程：
  • 用户可通过语音向ASRPRO模块输入指令（如目的地）。
  • 系统状态（障碍物、导航指令、位置、健康异常、跌倒）均通过ASRPRO模块以预先烧录的定制化语音（如“已偏离路线”、“当前位置：北纬XX度，东经XX度”）进行实时播报，形成闭环交互。

3. 远程监控终端开发：
为配合硬件系统，研究团队配套开发了手机App。该App基于Vue框架使用HBuilder X开发，集成了高德地图SDK。App通过调用OneNET云平台API，获取导盲杖上传的实时数据（位置、心率、血氧等），并以可视化方式（如地图定位、数据图表）展示给家属，实现了远程监护功能。

4. 系统集成测试与性能分析：
研究最后阶段对制作的导盲杖实物进行了功能性测试。

• 实物验证： 展示了集成各模块的导盲杖实物，结构紧凑，强调了其抗干扰能力与便携性。
• 跌倒报警测试： 通过模拟向前、侧向、向后跌倒等情景，验证MPU6050及互补滤波算法能准确检测到姿态角超过阈值的情况，并成功触发报警机制（文中展示了报警提示图）。
• 图像识别测试： 在光照充足条件下，测试了部署在ESP32-CAM上的轻量化YOLO模型对盲道障碍物的识别效果。测试表明，系统能够实时识别出行人、电动车等目标，并通过语音准确提示，有效提升了盲道行走的安全性（文中展示了摄像头识别图）。

四、 主要研究结果

1. 成功研制出多功能集成原型系统： 研究成功设计并制造出了“基于STM32的多模态语音导航智能导盲杖”物理样机。该样机实现了超声波避障、基于YOLO的视觉识别避障、GPS定位、4G远程通信、语音交互导航、心率血氧监测、基于姿态解算的跌倒检测及报警等预设全部核心功能。
2. 算法模块有效运行：
   • 避障模块： 超声波测距模块能稳定工作，在设定距离内可靠触发语音警告；视觉识别模块经过自定义数据集训练和轻量化部署后，能在嵌入式端实时运行，对常见盲道障碍物（电动车、石块等）达到较高的识别准确率，并转化为具体的语音提示，验证了轻量化YOLO模型在资源受限设备上应用的有效性。
   • 跌倒检测模块： 基于MPU6050和互补滤波算法的跌倒检测算法被验证有效。测试表明，算法能够准确解算用户姿态角，并在模拟跌倒（俯仰角超±30°，横滚角超±45°）时可靠触发报警流程。这为视障用户提供了重要的安全冗余保障。
   • 数据流与远程监控： 整个系统的数据流畅通，从传感器数据采集、STM32处理、到通过4G模块上传至OneNET云平台，最终在自主开发的手机App上成功显示用户位置和健康状态，验证了物联网架构的可行性。
3. 系统实现闭环运行： 测试结果表明，从环境感知（超声波/摄像头）→ 数据处理与判断（STM32）→ 用户交互（语音播报）→ 远程监控（数据上传、App显示）的整个链路是稳定、可靠的。系统能够对外部事件（障碍物、跌倒）做出及时、恰当的反应。

这些结果层层递进：硬件集成与基础功能实现是前提；各核心算法（视觉识别、跌倒检测）的有效性是系统智能化的关键；最终的集成测试结果则综合证明了整个系统设计达到了预期目标，即能够为视障人士提供一套集环境感知、定位导航、健康安全监测与远程监护于一体的辅助工具。这些结果直接支撑了研究的结论——该系统能够提升视障人士出行的安全性与自主性。

五、 研究结论与价值

本研究得出结论：成功实现了一种基于STM32的多模态智能导盲杖，它集成了环境感知、自主定位及远程监护功能，是一个综合性的物联网智能助行设备。经过测试，该导盲杖在障碍物识别、路径引导、跌倒判断及语音提示等方面表现稳定可靠。

该研究的价值体现在：

• 科学价值： 探索了多传感器信息融合（超声波、视觉、IMU、生理传感）在嵌入式设备上的协同工作模式；实践了轻量化深度学习模型（YOLOv8）在边缘计算设备（ESP32-CAM）上的部署，为资源受限场景下的实时视觉识别提供了案例；设计并验证了基于互补滤波的姿态解算算法在跌倒检测中的应用有效性。
• 应用价值： 直接面向视障人群的迫切需求，提供了一种比传统导盲工具功能更全面、交互更智能的解决方案。其“感知-决策-交互-监护”的一体化设计，有望在实际应用中切实降低视障人士的出行风险，提升其独立生活能力，具有显著的社会意义和潜在的实用价值。

六、 研究亮点

1. 功能高度集成与系统性设计： 本研究并非单一功能改进，而是构建了一个集“避障、导航、健康监测、跌倒报警、远程监护”于一体的完整系统，涵盖了视障人士出行安全与健康的多个关键维度，系统性较强。
2. 多模态感知与智能算法应用： 结合了超声波测距（简单可靠）和基于深度学习YOLO模型的视觉识别（精准具体），形成了优势互补的环境感知方案。同时，自主研发了基于MPU6050和互补滤波的跌倒检测算法，提升了安全防护的主动性。
3. “端-云-端”物联网架构的实现： 完整实现了从终端设备（导盲杖）到云平台（OneNET）再到用户终端（手机App）的数据闭环，使得远程监控和数据分析成为可能，扩展了设备的服务边界。
4. 面向实际应用的工程化探索： 研究涵盖了从硬件选型、电路设计、PCB制作、嵌入式编程、算法训练与部署、到云端开发和App开发的全链条，展示了将学术想法转化为原型产品的完整工程路径，具有较好的可落地性参考价值。

七、 其他有价值内容

研究团队指出了系统的后续改进方向，主要集中在算法优化、能耗降低以及用户体验感提升等方面。这体现了研究的客观性以及对产品化进程中挑战的清醒认识。例如，更复杂的路径规划算法、更长的续航时间、更自然的人机交互对话等，都是未来值得深入的研究点。此外，配套手机App的开发也增强了系统的实用性和家庭关怀属性。