比较11个国家的经验和描述基础经济偏好 背景与动机 近年来的研究显示，人类在对奖励价值的编码过程中存在高度情境依赖性，这在某些情况下会导致次优决策。然而，这种计算限制是否是人类认知的普遍特征仍不清楚。在这项研究中，作者研究了来自11个国家（阿根廷、伊朗、俄罗斯、日本、中国、印度、以色列、智利、摩洛哥、法国和美国）的561名个体的行为，旨在探索奖励价值编码的情境依赖性是否是人类认知的一致特征。 研究来源 该研究由Hernán Anlló、Sophie Bavard、Fatimaezzahra Benmarrakchi、Darla Bonagura等多位学者合作完成，分别来自多个国际知名学术机构，参与团队包括巴黎高等师范学校、瓦瑟达大学等。研究结果发表于《Nature Human Behavio...

基于自注意机制的风险敏感机器人控制探讨 研究背景 机器人控制中的运动学和动力学是确保任务精确完成的关键因素。大多数机器人控制方案依赖于各种模型来实现任务优化、调度和优先级控制。然而，传统模型的动态特征计算通常复杂且容易产生误差。为了解决这个问题，通过机器学习以及强化学习技术来自动获取模型成为一种可行的替代方案。然而，直接应用于实际的机器人系统中，这种方法存在急剧的运动变化和非期望的行为输出的风险。 研究来源 本文由Dongwook Kim、Sudong Lee、Tae Hwa Hong和Yong-Lae Park撰写，作者分别来自首尔国立大学和洛桑联邦理工学院。该研究发表在2023年的npj Robotics杂志上。 研究内容 研究流程 本文提出了一种在线模型更新算法，直接应用于实际机器人系...

论文背景与研究目的 强化学习（Reinforcement Learning，RL）近年来已成为人工智能领域中一个充满活力且具有变革性的领域，其目标是通过智能体与环境的交互，实现最大化累积奖励的能力。然而，RL的应用在实际中面临着优化贝尔曼误差（Bellman Error）的挑战。这种误差在深度Q学习及相关算法中尤为关键，传统方法主要使用均方贝尔曼误差（Mean-Squared Bellman Error, MSELoss）作为标配损失函数。然而，认为贝尔曼误差服从正态分布的假设可能过于简化了RL应用中的复杂特性。正因为此，本文重新审视了RL训练中贝尔曼误差的分布，发现其更倾向于服从逻辑分布（Logistic Distribution）。 论文来源与作者介绍 本篇论文题目为”Modeling ...

基于强化学习实现的现实世界人形机器人行走 背景介绍 人形机器人在多样化环境中自主操作的潜力巨大，不仅可缓解工厂里的劳动力短缺，还能帮助居家老人并开拓新行星。尽管经典控制器在某些场景下显示出色的效果，但在新环境中的推广和适应性仍是一个重大挑战。为此，本文提出了一种完全基于学习的方法用于实际世界中的人形机器人运动控制。 研究动机 经典控制方法在实现稳定和鲁棒的运动控制方面有很大进展，但其适应性和通用性受限。而基于学习的方法由于能从多样化的模拟或实际环境中学习，逐渐受到更多关注。本文旨在通过使用强化学习训练一种基于Transformer网络的控制器，实现人形机器人在复杂环境中的运动控制。 作者与出版信息 本文由Ilija Radosavovic, Tete Xiao, Bike Zhang, Tr...

背景介绍 近年来，强化学习（Reinforcement Learning, RL）在解决各种复杂任务方面展示了其有效性。然而，许多现实世界中的决策和控制问题涉及多个相互冲突的目标。这些目标的相对重要性（偏好）在不同情景下需要权衡。尽管帕累托最优解（Pareto optimal）的解决方案被认为是理想的，但环境不确定性（例如，环境变化或观察噪声）可能会导致代理采取次优策略。 针对上述问题，Xiangkun He、Jianye Hao等人发表了一篇题为《Robust Multiobjective Reinforcement Learning Considering Environmental Uncertainties》的论文，旨在研究一种新的多目标优化范式，提出了在考虑环境不确定性的情况下的健...

传统的表征学习方法通常是设计固定的基函数架构,以达到正交性、稀疏性等期望的性质。而深度强化学习的理念则是,设计者不应编码表征的性质,而是让数据流决定表征的性质,使良好的表征在适当的训练方案下自发涌现。 这项研究探讨了通过深度强化学习系统学习的表征(representation)的性质。此研究将这两种观点结合,通过实证分析,探讨了在强化学习中能够促进迁移的表征所具有的性质。作者提出并测量了六种表征性质,在25000多个代理任务设置中进行了研究。他们使用了带有不同辅助损失的深度Q学习代理,在基于像素的导航环境中进行实验,其中源任务和迁移任务对应于不同的目标位置。 研究人员开发了一种方法,通过系统地变化任务相似性并测量与迁移性能相关的表征性质,从而更好地理解为什么某些表征更适合迁移。他们还证明了该...