卡西不会跳舞。至少还不会。但它最近迈出了第一步。你必须先走路，然后再跑！

Cassie是一个亮黄色、两条腿、人类大小的机器人，它最近通过一种人工智能自学了走路强化学习．

甚至在它迈出第一步之前，来自加州大学伯克利分校的研究团队就使用了模拟技术，看看它是否准备好在这个广阔的世界首次亮相。研究人员分享了他们的工作麻省理工学院技术评论在文章中,，忘记波士顿动力公司。这个机器人学会了走路。他们的研究《双足机器人鲁棒参数化运动控制的强化学习》是可用的在这里．

波士顿动力公司（Boston Dynamics）令人印象深刻的视频让它看起来很简单

多年来，波士顿动力公司一直在发布其机器人的精彩视频，这提高了人们对机器人移动的期望。去年年底，他们发布了一份视频现在已经被观看超过3000万次的跳舞机器人。

“这些视频可能会让一些人认为这是一个很容易解决的问题，”加州大学伯克利分校的李中宇(音译)说麻省理工学院技术评论．“但要让类人机器人可靠地运行并生活在人类环境中，我们还有很长的路要走。”

强化学习

为两足机器人编写在各种环境中行走的程序所需的代码数量是惊人的。在崎岖的山路上上坡，与在光滑平坦的路面上行走相比，需要不同的控制和平衡。人行道的摩擦系数与铺有地毯的走廊不同。

健壮性和通用性是很难实现的。这就是机器人专家转向强化学习的原因。

研究人员报告说，稳定两足机器人的经典方法往往“缺乏适应环境变化的能力”。然而，强化学习使机器人能够通过反复试验自学。强化学习使卡西能够在步履蹒跚时自学。

首先，学习虚拟行走

由于它们的尺寸和不稳定性，两腿机器人可以很容易地绊倒和跌倒，即使是最微小的失误。因此，伯克利的团队让凯西在踏上人行道之前在虚拟环境中学习。

试错法包括错误，通常错误很多。但实际机器人的故障可能是危险的、昂贵的，或者两者兼而有之。物理上精确的模拟环境，如Simscape多体^TM这有助于在将自主算法部署到昂贵的机器人硬件之前对其进行验证，而伯克利的研究人员正是这么做的。就像战斗机飞行员在控制昂贵的飞机之前在飞行模拟器中学习飞行一样，卡西也学会了在模拟环境中行走。

该团队使用了两层虚拟环境。首先，一个模拟版的Cassie通过利用大量现有的机器人动作数据库来学会走路。他们将这一模拟转移到第二个虚拟环境Simscape Multibody，该环境以极高的精确度复制了真实世界的物理。

机器人学会了许多不同的动作，比如蹲着走路、负重、转身和蹲下。一旦卡西证明了自己的能力模拟风景，学会的行走模型被加载到实际的机器人上。

“真正的Cassie能够使用在模拟中学习的模型行走，而无需任何额外的微调。它可以穿过粗糙和滑的地形，携带意想不到的货物，并从被推的状态中恢复过来。在测试中，Cassie右腿上的两个马达也损坏了，但它能够调整自己的运动来进行补偿。”

-麻省理工学院技术评论

所以，虽然你在跑步之前必须先走路，但事实证明，如果你是一个机器人，在模拟中测试你是否准备好先走路是明智的。

更多信息:

• 要了解有关强化学习的更多信息，请查看此生物启发单足机器人．
• 要学习在Simscape中模拟物理系统的基础知识，请参阅本文免费，两小时的入门教程．