卡西不会跳舞。至少还不会。但它最近迈出了第一步。你必须先走路，然后再跑！

卡西是一个明亮的黄色，两腿，人类大小的机器人，它最近用一种叫做强化学习.

加利福尼亚大学的研究团队伯克利甚至在迈出第一步之前，利用模拟技术来研究它是否准备在世界范围内首次亮相。麻省理工学院技术评论在文章中,，忘了波士顿动力学吧。这个机器人自学走路。他们的研究，用于两足机器人鲁棒参数化运动控制的强化学习，可供选择在这里.

波士顿动力公司（Boston Dynamics）令人印象深刻的视频让它看起来很简单

多年来，波士顿动力公司一直在发布其机器人的精彩视频，这提高了人们对机器人移动的期望。去年年底，他们发布了一份视频现在已经被观看超过3000万次的跳舞机器人。

“这些视频可能会导致一些人相信这是一个简单而容易解决的问题，”加利福尼亚大学的伯克利告诉钟宇俐。麻省理工学院技术评论“但要让仿人机器人在人类环境中可靠地工作和生活，我们还有很长的路要走。”

强化学习

编程一个两足机器人在各种环境中行走所需的代码数量惊人。在岩石路径上上坡运动需要不同于在光滑平坦表面上行走的控制和平衡。人行道的摩擦系数与铺地毯的走廊不同。

鲁棒性和多功能性很难实现。这就是为什么机器人专家转向强化学习。

研究人员报告说，稳定两足机器人的经典方法往往“缺乏适应环境变化的能力”。然而，强化学习使机器人能够通过反复试验自学。强化学习使卡西能够在步履蹒跚时自学。

首先，学习虚拟行走

由于它们的体积和不稳定性，即使是最微小的失误，双腿机器人也很容易绊倒和摔倒。因此，伯克利大学的研究小组让卡西在虚拟环境中学习，然后再踏上人行道。

试错法包括错误，通常错误很多。但实际机器人的故障可能是危险的、昂贵的，或者两者兼而有之。物理上精确的模拟环境，如Simscape多体^商标这有助于在将自主算法部署到昂贵的机器人硬件之前对其进行验证，这正是伯克利的研究人员所做的。就像战斗机飞行员在控制昂贵的飞机之前在飞行模拟器中学习飞行一样，卡西学会了在模拟环境中行走。

该团队使用了两个级别的虚拟环境。首先，卡西的模拟版本通过绘制广泛的现有机器人运动数据库来学习走路。他们将此模拟转移到第二个虚拟环境Simscape Multibody，该虚拟环境以高精度复制真实世界的物理。

机器人学会了许多不同的动作，比如蹲着走路、负重、转身和蹲下。一旦卡西证明了自己的能力模拟风景，将学习到的行走模型加载到实际机器人上。

“真正的卡西能够使用在模拟中学习到的模型行走，而无需任何额外的微调。它可以在崎岖和湿滑的地形上行走，承受意外负载，并从被推中恢复。在测试过程中，卡西还损坏了右腿的两个电机，但能够调整其运动以进行补偿。”

-麻省理工学院技术评论

所以，虽然你在跑步之前必须先走路，但事实证明，如果你是一个机器人，在模拟中测试你是否准备好先走路是明智的。

有关更多信息：

• 要了解有关强化学习的更多信息，请查看此生物启发单足机器人.
• 要了解在Simscape中模拟物理系统的基础知识，请查看此免费，两小时的入门教程.