Cyborg鼓手和AI团队创造了不可能的音乐

设计专业鼓手的机器人假肢


技术进步,从人工智能到3D打印,彻底改变了假肢设计。最先进的假肢使他们的佩戴者能够完成我们大多数人所理所当然的任务。由于假肢的目标是使他们的佩戴者能够完成重要的任务他们的日常生活,很常见的是寻找针对各种活动定制的假肢,从跑到骑自行车,甚至跳舞。

假肢设计需要各种学科的技能,例如生物医学工程,机器人,机械工程,计算机科学 - 以及音乐。是的,音乐。跑步者需要运行,鼓手需要鼓。

创建一个定制的机器人假肢被证明是佐治亚理工学院团队的完美项目音乐技术中心(GTCMT)。虽然假肢设计的进步通常包括肌肉或思维控制的激活,但该项目在这方面是独一无二的部分设计是自主的:穿着者并没有完全控制假肢的动作。

杰森巴恩斯,专业鼓手,采用自治机器人鼓声假体。

鼓手推动返回击球

Jason Barnes是一个鼓手。他在Reggae和渐进式金属乐队中扮演,并列出了哑光Garstka,Luke Holland和Neil Peart在他的音乐影响力中的喜欢的鼓手。

“当我12岁时,我第一次进入音乐。我父亲开始教我踢吉他,我从未真正挑选出来那么好。然后我有一个圣诞节的鼓套装,当时我15岁。从那时起,我就是这样是一个鼓手。“

杰森巴恩斯,专业鼓手

在22岁时,他在工作场所的事故中失去了右臂。事故发生在他计划为亚特兰大音乐研究所(AIMM)试镜课程之前发生过。有抱负的鼓手决定返回他的音乐。从医院释放后不久,他创造了自己的基本鼓声假肢。这是他情绪恢复的重要一步。

“事故发生后只有几周几周,我仍然对我的剩余肢体有绷带,”他说,“所以我把一个鼓槌折叠在我的绷带上并开始玩。这是我生命中的转折点,让我知道它仍然是可能的。“

他开发了自己的春天加载的鼓声假肢,他在他再申请到学校时使用了。他于2013年被托管被接受,一年后他最初定于试镜。

新的假肢,新音乐

在他的第一个私人课程与Aimm老师Eric Sanders,Barnes描述了他开发他鼓声臂的机器人版本的概念。桑德斯显示Barnes一些在线视频机器人音乐家来自乔治亚理工学院。通过一系列介绍,Barnes会见了大学音乐科技中心的创始总监Gil Weinberg教授,他准备采取了一个新的项目。

Weinberg教授和他的学生融合了音乐和技术世界,建造音乐机器人表演者。他们专注于如何由人类感知的音乐,然后使用机器学习来构建算法,所以机器人可以了解音乐。机器人学会了解诸如节拍,节奏和唱样等音乐元素。当他们了解人类所做的方式时,他们可以以无与伦比的速度和性能表演。他们执行人类不能的音乐。

“这就是对这项工作有趣的事情,”Weinberg说。“我们使用音乐思想来推动我们的机器人能力。然后新的机器人能力推动了音乐的新想法。“

Barnes通过电子邮件发送了Weinberg教授,询问GTCMT团队是否会建立一个假肢臂,所以他可以重新获得手腕的能力。他想要一种肌肉控制的假体,可以将其上臂的肌肉运动转化为控制机械化前臂和手腕。

“手腕对鼓手的表达非常重要,我们对其他机器人的这些执行器进行了工作。但我们没有建立实际上是人体延伸的机器人的经验,就像一个机器人。这是项目非常有趣。“

Gil Weinberg博士,佐治亚理工学院

Weinberg教授同意创造一个机器人假肢,但也有兴趣将设计与他现有的音乐演义研究与机器人音乐家一起使用的研究。

“我说,'当然,我们很感兴趣。”“Weinberg说。“那我问他,'如果设计让你有一个棍子被肌肉控制,那么你会有你的人工手腕,我们添加了一个有自己的思想的第二杆?它将即兴发挥,这将推动你进入新的音乐域名。“

虽然不是他的原始目标,但巴恩斯很容易同意。Weinberg获得了国家科学基金会的批准,以资助发展。

Weinberg教授在GTCMT Lab中播放键盘。

设计过程

最初的设计在六个月内完成。鼓声用Matlab和Simulink建模。万博1manbetx假肢有两个鼓槌的电机,每个鼓槌都能比人类鼓手更快地击鼓,速度高达每秒20个节拍。首先是通过Barnes的臂和电拍照(EMG)传感器在身体上控制在他的二头肌上。第二个是自主,听音乐,提高互补节拍。这是一个可穿戴机器人。

自治机器人鼓声假肢的特写镜头。

"This prosthetic is far superior to anything that’s currently available. It also works fairly similar to the way I would drum before. I just flex the same muscles that I normally would use, and they send a signal to the arm and make it act accordingly. The harder I flex, the tighter the grip is on the stick.”

杰森巴恩斯,专业鼓手

还有差异:可穿戴机器人使Barnes能够创建真正独特的音乐。它使用人工智能(AI)来检测他的鼓声中的节拍,节奏和密度,并与节拍回应,这些节拍补充它“听到”。它还自主地倾听吉他手扮演的和弦,并根据和弦调整其速度。

“次要棍子有自己的思想,相应地提高了自己的模式。延迟不是问题。它也非常快,可以发挥未人类可能的多性能。这就像我用机器人干扰。有时它很酷,有时候,有时候它很烦人。所以,它就像带有带状的典型乐队练习就像。“巴恩斯确实维持了创造性的控制:“它会给你扔掉你不会期待的东西,所以你必须在你的游戏中。但它最终决定了我想参加哪个鼓,甚至是我想首先要在鼓上播放机器人鼓槌。虽然我无法控制它的戏剧,但如果它戏剧,我会控制。“

杰森巴恩斯,专业鼓手

在一开始,该团队严重依赖于电气和机械工程技能。随着机器人手臂的可靠构造和运行,该团队转变为计算机科学和AI焦点。他们开发了机器学习和深度学习代码,使假肢和其他机器人能够与音乐家互动。

Zach Kondak(左),Jason Barnes(鼓),Weinberg教授(右),在GTCMT实验室。

“我们使用不同的复杂性的不同技术,从非​​常基本的机器学习技术,如马尔可夫链到更复杂的算法,如卷积神经网络,”最近毕业的GTCMT毕业的GTCMT毕业。

“例如,我们能够实时运行简单的算法,并且机器人非常快速地与我们交互。但是,深度学习算法能够实际上撰写非常丰富和结构化的音乐。这已经脱机完成。”

佐治亚科技Zach Kondak技术

重新设计可移植性

该团队希望创建一个可以向需要假肢的其他音乐家提供的设计,但仍然存在挑战。目前的设计沉重,需要交流电源。它也被系在两台计算机处理中。他们正在通过重新设计解决这些问题。

计划的重新设计将继续使用来自ARM的EMG信号来控制设备,但将使用嵌入式处理器,因此所有信号处理将在设备本身上完成。电池电量将取代交流电源要求。它也会更轻,因为支撑装置的重量可以在长时间的性能期间变得疲劳。万博1manbetx

“我们将使下一个迭代便携,所以杰森可以自己使用它,”Weinberg说,“并担任旅游音乐家。”

对于巴恩斯,他的最终目标是巡回演出。“是的,只是玩音乐,”他说。“它没有比这更好。这一直是我的激情。“

面板导航

生物技术

战斗童年肺炎

将医疗危机转变为拯救生命的工程挑战

面板导航

AI.

进入杂草:

农民依靠人工智能来提升生产