迪士尼玩起强化学习 新机器人有星球大战那味了

走起路来屁颠屁颠，关键还很稳：

虽然是机器，但不得不说这神态很有“灵性”：

就在刚举行完的国际机器人顶会IROS上，迪士尼研究所研究科学家Moritz Bächer带领团队展示的这个新机器人可谓萌翻全场。

虽然这个小家伙还没有一个正式的名字，但它的表现足够令人印象深刻。

和常见的双足机器人最大的不同点在于，它不仅能够在行走中保持动态平衡，还能够通过动作表达出一些“情感”。

经研究人员介绍，这主要是因为在训练过程中使用了团队去年耗费一年时间开发的强化学习系统，并且还请了专业的动画师设计动作，将动画角色用动作表现情感的方式应用到了机器人身上。

基于此，小家伙不再是一个冷冰冰的机器。可以想见，若给它装一个GPT大脑，家里的狗子危～～～

瑞思拜，我是大学生，给我。

不少网友看到后联想到了星球大战中的角色：

另一波网友看到小家伙如此“憨态可掬”，认为这就是现实版的瓦力（WALL-E，《机器人总动员》中的角色）：

更有网友直呼感觉“站在了机器人革命的风口浪尖”：

这个小家伙走起路来为何如此平稳？开发者又具体是如何赋予其“情感”的？我们接着往下看。

在瑞士森林中“漫步”

摇头晃脑还能平稳运动的秘诀，在于头部和腿部的设计。

其中，小家伙的头部是一个四自由度的设计，可实现上、下、左、右四个方向倾斜观察：

而它的腿部更是增加到五自由度，具备髋关节，因此它在行走时能够保持动态平衡。

偷袭推它，或是故意拖拽它脚下的地毯，它都能应对自如：

挑战更为复杂的地形，在瑞士野外森林中漫步也不在话下：

稳重又不失风情，走着走着，还能跳上一段：

据研究人员介绍，能做到这种效果，从概念提出到最终打磨成型，其实只用了不到一年的时间。

这还要得益于3D打印技术，使用模块化硬件和执行器，大为提高了设计和迭代的速度。

再来说说赋予其“情感”。

其实这种让机器人以有情感的方式运动是迪士尼的专长，早在上世纪六七十年代，迪士尼就开发出了机械人偶。

但随着机器人变得愈加先进和机动，设计出能够与其兼容的情感行为变得具有挑战性。

为此，迪士尼搬出了王牌，请用了擅长使角色通过运动传达情感的动画师来为机器人设计动作。

但交由动画师设计动作，就不得不面临一个难题——

动画工具通常没有内置物理特性，动画师的设想有时在现实中难以做到。这就使得团队需要耗费大量时间试验。

为了弥合这一差距，团队用到了强化学习系统。

背后是强化学习的加持

研究团队开发了一个基于强化学习的流程，通过模拟将动画师的视觉设想和机器人动作相结合。

这个过程本质上是为动画师提供了物理约束条件，确保动画师设计的高表现力动作可以在现实中实行，或者尽可能接近机器人所能做到的程度。

迪士尼研究所的研究科学家Morgan Pope表示：

这就不仅仅是走路了，走路只是强化学习系统的输入之一，另一个重要的输入是如何行走。

好在这种情况下，强化学习的一大优势是生成的运动鲁棒性很好。

并且根据研究人员的说法，用该流程在一台PC上只需几个小时就能训练机器人做新动作，大大缩短了开发新机器人角色所需的时间。

同时在一遍遍的训练中，还可以对电机性能、质量分布和机器人与地面之间的摩擦力等进行细微的调整。

团队负责人Bächer认为，“这使得迪士尼开发新机器人角色所需的时间从几年缩短到几个月”。

并且研究人员还强调重要的不是机器人，而是这个过程：

所以如果我们想要增加更多的腿、手臂，或者制作一个全新角色，我们可以迅速教它新的动作。现成的执行器、3D打印组件、可适应性强的强化学习框架，这些都可以应用于外观和动作都大不相同的机器人。

而这个机器人，只是该旅程的一步。

参考链接：

[1]https://twitter.com/linusekenstam/status/1710277661069574171

[2]https://spectrum.ieee.org/disney-robot