Blob Opera.©Google

Blob Opera.的隐藏天才 - 以及它如何变得更聪明

Blob Opera背后的复杂机器没有让我们到达到峰值互联网才能才能 - 现有的音乐AI可以让事情变得更好

今年并不糟糕。真的。在大流行的头条新闻之间,过去12个月在太空旅行,量子成像和医学中看到了巨大的跳跃。但现在我们都出乎意料地有天赋了2020年的加冕成就: Blob Opera..

广告

由谷歌和艾艺术家开发 大卫李,机器学习实验允许用户通过四重彩色唱片Blob来组成自己的操作演绎。并且全部在标准的Internet浏览器中。

只需向上和向下拖动斑点即可改变其音调,同时将其移开,产生一系列元音声音。同时,其他斑点也将用这种声音协调,实时响应任何新的方向。在开关的轻弹时,用户甚至可以看到Blobs重新创建圣诞经典,如第一个Noel或Hoy到世界。

它是 - 我们不能压力足够强调 - 很多贪婪的乐趣。

但虽然毫不费力使用,但建立并不容易。从四个专业人士唱歌的16小时建模 - Cristian Joel(Tenor),Frederick Tong(Bass),Joanna Gamble(Mezzo-Soprano)和Olivia Doutney(Soprono) - Blob Opera依靠AI来合成您所听到的噪音。

正如谷歌所说:“在实验中,你没有听到他们的声音,但机器学习模型的了解,了解歌剧唱歌的声音,这是根据它从他们所吸取的知识的那样。”

简而言之,Blob Opera非常 非常 聪明的。但它可能不会立即清除多么聪明。部分原因是因为谷歌没有公开揭开支撑实验的代码。但这也是因为Blob Opera可能依赖于两个AI网络工作,你可能不会注意到他们在那里。

阅读更多: 

第一个:ai协调斑点。 “Google代码尚未发布,但大多数此类计算机的谐波依赖于现有和谐的大型数据集,” Rebecca Fiebrink博士 来自伦敦大学创意计算研究所。

“然后,您可以使用机器学习算法可以在该数据中找到模式。从中,程序可以解决,如果一个blob唱一定的票据,那么另一个斑点的一个很好的下一个注释。“

第二个音乐算法可能在工作?一些更复杂的东西:一个使其在纸张之间移动时,使其声音自然。

“它基本上就像卡通动画中的”inetweening“,”解释说:“解释说 Nick Bryan-Kinns教授 来自伦敦王后大学。 “那是你有两个框架的时候,你可以创建一个计算机来创建一个中间框架,导致整体更平滑的动画。

“Blob Opera本质上是用声音来做的。所以,而不是让歌剧歌手唱出一百万个不同的笔记,他们正在努力弄清楚如何顺利过渡。“

Fiebrink补充说:“直到几年前,我们无法使用机器学习来综合,真的令人信服的歌剧歌唱声音。这是因为,作为人类,我们特别调整为人类的声音。如果有些东西听起来有点关,我们会立即注意到它。但谷歌和深度近年来已经做了一些大规模的进步。“

但是,虽然无疑是聪明和精心设计的,但歌剧不是革命性的。类似的AI已经在选择视频游戏中使用,过渡音乐自动在两个更长的预录制件之间创建。许多POP命中中的自动避免纠正错误是在类似的算法上创立的。事实上,Blob Opera的协调机器学习实际上是在20世纪80年代首次开发的。

正如AI和音乐家专家所说,声音机器学习都有更令人印象深刻的发展。它们可以很容易地应用于Blob Opera。

现有的AI如何使Blob Opera更好

在享受o的Blobby演绎​​之后,这似乎是一个不可能的问题,所有你都忠心,但无论如何,我们都会问:如何改善歌剧歌剧?

事实证明,以几种有趣的方式。首先,你 - 是的, - 可以发出一个斑点。

“它实际上非常容易,”Fiebrink说。 “您可以实时地在语音上运行一个非常简单的音调跟踪器,并使用Blob Opera的协调组件。随时更改音高,可以遵循其他斑点。您现在可以轻松构建该手机应用程序。“

“此外,您也可以使用Barbershop四重奏或其他乐器在歌剧歌手上培训AI。你甚至可以拥有一个Blob K-Pop小组 - 因为谁不想要自己的K-POP男孩乐队和谐?“

布莱恩 - 金纳有另外一个想法。 “也有可能创建流派捣碎。您可以轻松地将此与其他类型的音乐一起唱歌,如AI创造的鼓和低音环。它可以创造新的音乐类型,我们以前从未听过过,“他说。

“当然,90%的它可能听起来绝对可怕。但其他10%?它可能听起来绝对令人惊叹!“

这个AI机器从用户的手动运动创造了音乐和光线秀(世界互联网会议,武镇,东中国浙江省11月2020年11月)©Getty
这个AI机器根据用户的手动运动创建音乐和光线展(世界互联网会议,武镇,东中国浙江省11月2020年11月)©Getty

这可能只是AI音乐革命的开始。研究人员喜欢 Marcus Pearce博士 伦敦皇后大学试图将这项技术变得很多 很多 further.

“我的专业知识正在建模音乐态度,试图破解为什么我们首先享受它 - 享受音乐的大脑机制是什么?然后,使用此信息和AI,我们可能能够在实时生成音乐,这是一个特定的人在那个精确时刻会愉快,“他说。

“对别人来说可能听起来不太好,但对于那个人来说,这场音乐会很棒。”

但是,作为Pearce承认,这种软件很多年。在我们享受音乐背后的心理机制之前,需要更多研究行为和神经影像模型,更好地理解。但是,如果收集了此数据,将来的音乐服务可能能够扫描您的大脑并在即时生成那种完美的更改歌曲。

广告

然而,目前,我们留下了四个Blobs Belting Gamle Bells。但是,在此时,这就是我们所希望的一切。

关于这件作品的专家

  • Rebecca Fiebrink博士 是伦敦艺术大学创意计算学院的读者。她目前的研究包括如何使用机器学习来设计新的数字乐器。
  • Nick Bryan-Kinns 是伦敦王后大学互动设计教授。他的研究探索了媒体和艺术的互动技术。
  • Marcus Pearce博士 是伦敦王后大学的高级讲师。他教导了音乐感知和认知。

阅读更多关于人工智能: