唇读计算机可以拼写严重被称为电影的结尾©Getty Images

唇读计算机可以拼写严重被称为电影的结尾

由于迪士尼研究开发的新技术,被称为外语电影很快就会更容易遵循。

传统的配音依赖于匹配的语音声音 - 音素 - 作为他或她说话的演员嘴唇的形状,称为Visemes - 认为“视觉音素”。这是艰苦的工作,需要聪明的脚本和熟练的语音艺术家,并且当它不太正确时,观众非常迅速地发现。

广告

采取不同的方法,迪士尼研究和东安格利亚大学的研究人员在演讲中分析了嘴唇的动作,而不是在单一的静态快照。这些动作被称为“动态探测”。

通过分析嘴唇制成的形状序列,并将整个批次送入计算机,该技术可以自动建立完全匹配演员的嘴的新短语 - 非常字面上将单词放在嘴里。

事实证明,例如,短语“清洁样本”是视觉上的“Dicier Mutts”,“不需要盆子”,“喜欢看你”。

“动态探测是一种比传统的粘性更准确的视觉语音铰接模型,”Lead Carmenter Sarah Taylor说。 “[它们]可以产生具有更大语言多样性的视觉上可符号的语音序列。”

随着计算机可以自己做的所有繁重的举重,它应该使配音更容易做 - 因此,被称为薄膜将没有任何借口。

在这种方法中可以给出大约90%的唇部动作,以多个声音为单个短语开放数千个可能性。

“这项工作突出了视觉语音识别中的极端模糊水平,”泰勒说。

虽然如果你试图读她的嘴唇,但她可能已经说过了10万件其他东西。


广告

关注科学专注 推特Facebook, Instagram. 抹布