分享自:

基于人机交互引导与视觉检测的空间迭代学习控制用于路径学习与跟踪

期刊:IEEE Transactions on Automation Science and EngineeringDOI:10.1109/tase.2022.3185679

本文旨在向中文读者介绍一篇发表于《IEEE Transactions on Automation Science and Engineering》2023年7月刊(第20卷第3期)的研究论文,题为《Spatial Iterative Learning Control with Human Guidance and Visual Detection for Path Learning and Tracking》。该研究由Jingkang Xia(西南交通大学)、Yanan Li(萨塞克斯大学)、Deqing Huang(西南交通大学)、Jinlong Yang(西南交通大学)、Xueyan Xing(萨塞克斯大学)和Lei Ma(西南交通大学)共同完成。本研究提出了一种结合人类物理引导与视觉辅助的空间迭代学习控制(Spatial Iterative Learning Control, SILC)新方法,旨在解决机器人学习并精确跟踪未知或不规则路径的挑战,特别是在焊接、激光切割等需要高精度轨迹的工业应用中。

研究背景与目标 本研究属于机器人学、人机交互(Human-Robot Interaction, HRI)和智能控制交叉领域。在许多工业任务(如焊接、切割、装配)中,机器人需要精确跟踪复杂的、非标准化的路径。传统的离线编程与示教(Programming by Demonstration, PBD)或学习示教(Learning from Demonstration, LFD)方法存在局限性:它们通常基于离线学习,难以处理任务执行过程中的环境不确定性,且示教精度受限于操作者的技能和一致性。此外,经典的迭代学习控制(Iterative Learning Control, ILC)要求重复任务的周期时间固定,这在由人类参与的交互任务中难以保证,因为人的操作速度存在波动。因此,研究团队旨在开发一种在线学习框架,能够结合人类的直观指导和机器视觉的高精度,使机器人能够在与人的交互中,通过迭代学习,自主掌握并精确跟踪未知路径。其核心目标是:1)克服传统ILC对固定时间周期的依赖;2)利用交互力将人类对任务路径的知识传递给机器人;3)引入视觉系统辅助,提升学习效率和最终跟踪精度。

详细研究流程 本研究包含理论方法构建、仿真验证和实物机器人实验三个主要阶段,研究对象为一个7自由度(7-DoF)的Sawyer机器人平台。

第一阶段:理论框架与控制器设计 首先,研究团队建立了机器人末端执行器在笛卡尔空间下的动力学模型,并考虑了人机交互力。模型核心方程为:H_x * ẍ + C_x * ẋ + g_x = J^{-T} * u + f_h。其中,x、ẋ、ẍ为末端位置、速度、加速度,f_h为测量到的交互力。通过设计基于阻抗控制的底层控制器,将闭环误差动力学简化为:m_d * ë + c_d * ė + k_d * e = -f_h。此处,e = x - x_r 为跟踪误差,x_r为待学习的参考路径。

为解决人类操作速度不一致导致的迭代周期变化问题,研究的关键创新在于引入了空间迭代学习控制(SILC)。该方法的核心思想是将学习过程从时间域转换到空间域。定义s为沿任务路径(从起点A到终点B)的弧长坐标,并假设人类期望的路径x_h和交互刚度参数k_hp在空间上是周期性的(即每完成一次路径,这些参数重复)。通过数学变换,将依赖于时间的微分算子d/dt转换为依赖于空间的d/ds算子,从而将动力学方程转换到空间域:m_d * v * (d e_v / ds) + c_d * e_v + k_d * e = -f_h,其中v = ds/dt为沿路径方向的速度。

基于此,研究团队设计了SILC学习律来更新机器人的参考路径x_r。学习律的核心公式为: x̂_h(s) = [ x(s) - λ * f_h(s) + (1/v) * e_v(s) ], 当 0 ≤ s < S(第一次迭代或初始段); x̂_h(s) = x̂_h(s - S) + λ * f_h(s) - (1/v) * e_v(s), 当 S ≤ s < ∞(后续迭代)。 参考路径则更新为:x_r(s) = α * f_Δ(s) + x̂_h(s)。其中,λ是正定对角学习增益矩阵,α是正标量,f_Δ是交互力的滤波信号,S是路径的空间周期长度。该学习律的物理意义在于:利用当前迭代的交互力f_h和速度误差e_v,来修正下一轮迭代的路径估计x̂_h,从而逐步逼近人类的真实期望路径x_h。论文在附录中提供了基于李雅普诺夫(Lyapunov)理论的严格收敛性证明,确保了在迭代过程中,交互力f_h和跟踪误差e最终将收敛到零。

第二阶段:视觉辅助系统的集成 为了进一步提升学习效率和精度,研究团队在SILC框架中集成了一个双目视觉辅助系统。该系统有两个主要功能:1)初始路径获取:通过图像处理(包括图像捕获、目标区域提取、路径细化、左右视图像素匹配等步骤),视觉系统可以检测并重建出工作平面上待跟踪路径的粗略空间坐标,作为SILC的初始路径x_initial(s),从而加速学习过程的启动,避免了完全从零开始学习。2)在线误差校正:在机器人执行任务过程中,视觉系统实时检测末端执行器(通过安装的LED标记)相对于目标路径的位置偏差μ(s)。这个视觉误差被反馈到学习律中,用于在线修正参考路径的更新。因此,结合视觉的更新律(SILC-Vision)变为: x̂_h(s) = x_initial(s), 当 0 ≤ s ≤ S; x̂_h(s) = x̂_h(s - S) + λ * f_h(s) - (1/v) * e_v(s) + κ * μ(s), 当 S < s < ∞。 其中κ∈[0,1]是一个比例因子,用于防止视觉校正过度。视觉系统的引入,有效弥补了单纯依靠交互力感知时可能受到的人类操作不确定性和视觉/运动控制噪声的影响。

第三阶段:仿真与实验验证 仿真部分:研究团队首先在设定的空间路径(一段圆弧)上对所提出的SILC方法进行了仿真验证。仿真参数包括机器人阻抗参数(m_d, c_d, k_d)和学习增益λ。结果表明,经过约6次迭代,机器人的实际路径能够精确收敛到期望路径,交互力和跟踪误差的均值和均方根(RMS)值均趋近于零,验证了SILC理论的有效性。

实验部分:在7-DoF Sawyer机器人平台上进行了实物实验,模拟焊接路径学习任务。机器人末端安装了六维力/力矩传感器(Robotiq FT300)和LED标记,双目相机(ZED)用于视觉检测。 1. 纯SILC实验:在不使用视觉辅助的情况下,仅依靠人类物理引导和SILC算法学习一条黑色曲线路径。实验参数(如学习增益)比仿真中设置得更保守以确保安全。结果显示,经过6次迭代,路径跟踪误差显著减小,平均误差降至0.22厘米,验证了SILC在真实人机交互环境中的可行性。但路径存在明显振荡,表明存在不确定性。 2. 对比实验:为了凸显所提方法的优势,研究团队将SILC-Vision方法与两种现有方法进行了对比: * 基于DTW和GMM的PBD方法:需要人类进行多次(5次)完整路径的离线示教,记录路径点序列,通过动态时间规整(DTW)对齐时间序列,并用高斯混合模型(GMM)生成预测路径。结果显示,单次示教误差较大(约0.3厘米),且最终预测路径仍存在误差。 * 基于机器视觉的路径拟合方法:仅需人类标记少量关键控制点,视觉系统检测这些点后,使用三次B样条曲线拟合出路径。实验尝试了不同数量的控制点(5到15个),但跟踪精度始终低于其他方法。 * SILC-Vision方法:视觉系统首先提供粗略的初始路径。人类随后进行少量交互调整(物理引导)。实验结果表明,仅需3-4次迭代,实际路径就能快速、精确地收敛到期望路径。其最终跟踪误差的均值和RMS值均小于纯SILC方法,且收敛速度更快。 3. 泛化能力测试:在更复杂的、绘制在不规则曲面上的三条不同空间路径上测试SILC-Vision方法。实验保持了相同的控制和学习参数。结果显示,对于所有三条不同形状的路径,经过6次迭代,机器人的实际路径均能很好地收敛到期望路径,最终迭代的平均跟踪误差小于3毫米,交互力也随迭代次数增加而减小,证明了该方法对不同空间路径的适应性。 4. 多用户测试:招募6名健康受试者重复进行路径1的学习实验。结果显示,尽管不同用户的表现存在个体差异,但所有用户的路径跟踪误差和交互力随着迭代次数增加总体上都呈现收敛和下降的趋势,证明了该方法对不同操作者的普适性。

主要研究结果 1. 理论收敛性证明:通过李雅普诺夫函数严格证明了所提出的SILC算法能够保证在空间域上,随着迭代进行,交互力f_h和跟踪误差e渐近收敛到零,即机器人能够自主学习并精确跟踪人类的期望路径。 2. 仿真验证结果:仿真数据直观展示了SILC算法在理想模型下的有效性,路径、交互力和误差均收敛,为实物实验提供了理论基础和信心。 3. 实物机器人实验结果: * 纯SILC有效但存在振荡:证实了SILC能够处理变周期的人机交互学习任务,但学习过程受人类操作不确定性影响,路径不够平滑。 * SILC-Vision性能优越:在对比实验中,SILC-Vision方法在学习精度收敛速度上均显著优于传统的PBD方法和纯机器视觉拟合方法。视觉辅助不仅提供了良好的初始路径起点,其在线误差校正功能也有效抑制了物理交互中的不确定性。 * 强大的适应性与鲁棒性:该方法成功应用于不同形状的空间路径学习,且对不同的操作者均表现出稳定的收敛性能,显示了其在实际应用中的潜力和鲁棒性。

结论与意义 本研究成功开发并验证了一种新颖的、融合了人类物理引导与机器视觉辅助的空间迭代学习控制(SILC-Vision)框架,用于机器人对未知或不规则路径的学习与跟踪。其科学价值在于:1)将迭代学习控制从时间域推广到空间域,巧妙地解决了人机交互中迭代周期不固定的难题;2)提出了一种将交互力模型与空间ILC相结合的理论框架,为物理人机交互中的技能传递提供了新的理论工具;3)创新性地将视觉感知与力感知互补集成,提升了学习系统的整体性能。其应用价值在于:为焊接、激光切割、复杂曲面加工等需要高精度、柔性化路径规划的工业场景,提供了一种直观、高效且精确的机器人编程与在线修正方案。操作者无需复杂的离线编程,只需通过简单的物理引导和/或视觉标定,机器人就能通过几次迭代自主学习并掌握精确的运动轨迹,实现了真正意义上的“示教”与“精炼”相结合。

研究亮点 1. 方法创新性:提出了空间迭代学习控制(SILC) 的概念,突破了传统ILC对固定时间周期的限制,使其更适用于人类参与的变周期交互任务。 2. 多模态感知融合:创造性地将力交互机器视觉两种感知模式在SILC框架下结合。视觉提供全局、精确的初始路径和在线误差反馈,而力交互提供局部、柔顺的在线调整指令,两者优势互补,显著提升了学习效率和最终精度。 3. 严谨的理论与充分的验证:研究不仅提供了严格的理论收敛性证明,还通过系统的仿真、与现有方法的对比实验、不同路径的泛化测试以及多用户实验,全面、有力地验证了所提方法的有效性、优越性和鲁棒性。 4. 明确的工程应用导向:研究源于工业应用中的实际需求(如不规则路径焊接),整个方法设计、实验平台搭建(Sawyer机器人、力传感器、双目相机)和结果分析都紧密围绕解决实际问题展开,具有很高的工程应用潜力。

其他有价值的内容 论文在“致实践者说明”部分明确指出,该方法特别适用于小批量、定制化产品的加工,因为传统的基于CAD模型的离线编程方法成本高昂,而单纯的视觉方法又受限于环境复杂性、视野和校准精度。本文提出的框架则通过结合人类的灵活性和视觉的精确性,提供了一种折中而高效的解决方案。同时,论文也客观讨论了该方法的局限性,例如对人类操作重复性的一定要求,以及视觉路径提取在复杂背景下的挑战,为未来的改进方向(如评估人类不确定性、采用更先进的相机和算法)提供了思路。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com