生化鼓手和人工智能团队创造了人类不可能的音乐

为专业鼓手设计机器人假肢


技术的进步,从人工智能到3D打印,已经彻底改变了假肢设计。最先进的假肢使佩戴者能够完成我们大多数人认为理所当然的任务。因为假肢的目标是让佩戴者完成重要的任务他们的在日常生活中,我们经常可以找到为各种活动定制的假肢,从跑步到骑自行车,甚至跳舞。

义肢设计需要不同学科的技能,如生物医学工程,机器人,机械工程,计算机科学和音乐.是的,音乐。跑步者需要跑步,鼓手需要打鼓。

对于乔治亚理工大学的一个团队来说,为击鼓制作定制机器人假肢被证明是一个完美的项目音乐技术中心(GTCMT)。虽然假肢设计的进步通常包括肌肉或精神控制激活,但这个项目在这方面是独一无二的部分这种设计的特点是自主的:佩戴者不能完全控制假肢的动作。

杰森·巴恩斯,专业鼓手,使用自动打鼓机器人假肢。

鼓手回归击鼓的动力

杰森·巴恩斯是一名鼓手。他曾在雷鬼和前卫金属乐队中演奏,并将马特·加斯特卡、卢克·霍兰德和尼尔·皮尔特等鼓手列入影响他音乐的行列。

“我12岁时第一次接触音乐。我爸爸开始教我弹吉他,但我从来没有把它学得那么好。15岁的时候,我得到了一套架子鼓作为圣诞节礼物。从那以后,我就成了一名鼓手。”

杰森·巴恩斯,职业鼓手

22岁时,他在一次工作事故中失去了右臂。事故发生在他参加亚特兰大音乐与媒体学院(AIMM)试镜的几天前。这位有抱负的鼓手决心重返他的音乐生涯。出院后不久,他就制作了自己的打鼓假肢。这是他情绪恢复的重要一步。

“那是事故发生后的几个星期,我的残肢上还缠着绷带,”他说,“所以我在绷带上绑了一根鸡腿,然后开始演奏。这是我人生的转折点,让我知道一切都是有可能的。”

他开发了自己的弹簧鼓声假肢,并在重新申请学校时使用了它。2013年,他被AIMM录取,比原计划的试镜时间晚了一年。

新假肢,新音乐

在他与AIMM老师埃里克·桑德斯的第一堂私人课上,巴恩斯描述了他开发自己击鼓手臂的机器人版本的概念。桑德斯给巴恩斯看了一些网上视频机器人的音乐家经过一连串的介绍,巴恩斯认识了吉尔·温伯格教授,他是该校音乐技术中心的创始主任,准备接手一个新项目。

温伯格教授和他的学生们融合了音乐和科技的世界,制造了音乐机器人表演者。他们专注于人类如何感知音乐背后的科学,然后使用机器学习构建算法,这样机器人就能理解音乐。机器人学习理解音乐元素,如节拍、节奏和切分音。虽然它们理解音乐的方式和人类一样,但它们的演奏速度和技巧却无与伦比。它们演奏人类不能演奏的音乐。

“这就是这项工作的有趣之处,”温伯格说。“我们用音乐理念来推动机器人的能力。然后,新的机器人能力推动了音乐的新想法。”

巴恩斯给温伯格教授发邮件,询问GTCMT团队是否愿意为他制造一个假肢,这样他就可以恢复手腕的功能。他想要一种肌肉控制的假肢,可以通过他上臂的肌肉运动来控制机械化的前臂和手腕。

“手腕对于鼓手的表现非常重要,我们为其他机器人研究了这种类型的驱动器。但我们没有制造机器人的经验,实际上是人类身体的延伸,像生化人。这使得这个项目非常有趣。”

吉尔·温伯格博士,佐治亚理工大学

温伯格教授同意制造一个机器人假肢,但他也有兴趣将该设计与他现有的与机器人音乐家一起使用的音乐即兴创作的研究联系起来。

“我说,‘当然,我们很感兴趣。’”温伯格说。“然后我问他,‘如果设计允许你用你的肌肉控制一根棍子,这样你就有了你的人造手腕,然后我们再加一根有自己思维的棍子呢?它会即兴发挥,这将推动你进入新的音乐领域。’”

虽然不是他最初的目标,巴恩斯欣然同意了。温伯格获得了美国国家科学基金会(National Science Foundation)的资助。

温伯格教授在GTCMT实验室弹奏键盘。

设计过程

最初的设计仅用了6个月就完成了。利用MATLAB和Simulink对鼓行程进行建模。万博1manbetx这个假体有马达为两个鼓槌提供动力,每一个鼓槌的击鼓速度都比人类的鼓槌快,每秒可达20次。第一种是由巴恩斯的手臂和二头肌上的肌电图(EMG)传感器进行物理控制。第二种是自主的,听着音乐即兴创作一个赞美的节拍。这是一个可穿戴机器人。

自主机器人打鼓假肢的特写。

“这种假肢远远优于目前可用的任何假肢。这和我以前打鼓的方式很相似。我只是弯曲我通常会使用的肌肉,它们向手臂发送一个信号,让它做出相应的动作。我弯曲得越用力,握杆就越紧。”

杰森·巴恩斯,职业鼓手

但也有不同之处:可穿戴机器人能让巴恩斯创作出真正独特的音乐。它使用人工智能(AI)来检测击鼓的节拍、节奏和密度,并以一个与它“听到”的鼓点互补的节拍做出回应。它还能自主聆听吉他手弹奏的和弦,并根据和弦调整速度。

“第二根棍子有自己的思维,可以据此即兴创作出自己的图案。延迟不是问题。它还非常快,可以演奏人类不可能演奏的多节奏。就像我在和一个机器人干扰一样。有时它很酷很有创意,有时却很烦人。所以,这就像一个典型的乐队练习与乐队成员。”巴恩斯确实保持了创造性控制:“它会向你抛出你意想不到的东西,所以你必须保持状态。但最终还是要由我来决定我想在哪个鼓上演奏它,或者甚至是我一开始是否想在鼓上演奏机器鼓槌。虽然我不能控制它播放什么,但我可以控制它是否播放。”

杰森·巴恩斯,职业鼓手

一开始,团队严重依赖电气和机械工程技能。随着机械臂的构建和运行可靠,团队转向了计算机科学和人工智能的重点。他们开发了机器学习和深度学习代码,使假肢和其他机器人能够与音乐家互动。

扎克·康达克(左),杰森·巴恩斯(敲鼓),温伯格教授(右),在GTCMT实验室。

“我们使用不同复杂程度的不同技术,从非常基本的机器学习技术,如马尔可夫链,到更复杂的算法,如卷积神经网络,”扎克·康达克(Zach Kondak)说,他最近从GTCMT毕业,专门研究机器人音乐。

“例如,我们能够实时运行简单的算法,并让机器人与我们快速互动。然而,深度学习算法实际上能够创作出非常丰富和结构化的音乐。这是线下完成的。”

乔治亚理工大学的扎克·康达克

为可移植性重新设计

该团队希望创造一种设计,可以为其他需要假肢的音乐家所用,但挑战仍然存在。电流设计很重,需要交流电源。它还被拴在两台计算机上进行信号处理。他们正在通过重新设计来解决这些问题。

计划中的重新设计将继续使用来自手臂的肌电图信号来控制设备,但将使用嵌入式处理器,因此所有信号处理将在设备本身完成。电池电源将取代交流电源的要求。它的重量也会更轻,因为在长时间的运行中,支撑设备的重量会变得很累。万博1manbetx

温伯格说:“我们将使下一个迭代可携带,这样杰森就可以自己使用它,并拥有一个旅行音乐家的职业。”

对巴恩斯来说,他的终极目标是巡演。“是的,只是在演奏音乐,”他说。“没有比这更好的了。这一直是我的激情所在。”

面板的导航

生物技术

抗击儿童肺炎

将医疗危机转变为拯救生命的工程挑战

面板的导航

人工智能

陷入困境:

农民依靠人工智能提高产量