计算机科学家创造了最准确的人脸数字模型。 这是它能做的

计算机科学家创造了最准确的人脸数字模型。 这是它能做的

由新的3D变形模型随机生成的几个面孔。

詹姆斯布斯,伦敦帝国理工学院
计算机科学家创造了最准确的人脸数字模型。 这是它能做的

如果您使用过智能手机应用程序Snapchat,您可能已将自己的照片变成迪斯科熊或将其脸部与其他人合并。 现在,一组研究人员已经创建了最先进的技术,用于在计算机上构建3D面部模型。 该系统可以改善视频游戏中的个性化头像,安全性的面部识别,当然还有Snapchat过滤器。

当计算机处理面部时,它们有时依赖于所谓的3D可变形模型(3DMM)。 该模型代表平均面,但也包含偏离该平均值的常见模式的信息。 例如,如果你有一个长鼻子,你也可能有一个长下巴。 鉴于这种相关性,计算机可以通过存储3D扫描中的每个点来表征您的独特面部,但仅列出几百个数字来描述您与平均面部的偏差,包括大致对应于年龄,性别和长度的参数面子

然而,有一个问题。 为了说明面部可以变化的所有方式,3DMM需要在多个面上集成信息。 到目前为止,这需要扫描许多人,然后精心标记他们的所有功能。 因此,目前最好的模型仅基于几百人 - 大多数是白人 - 并且对不同年龄和种族的人进行模拟的能力有限。

现在,伦敦帝国理工学院(ICL)的计算机科学家詹姆斯·布斯(James Booth)及其同事已经开发出一种新方法,可以自动构建3DMM,并使他们能够融入更广泛的人文科学。 该方法有三个主要步骤。 首先,算法自动标记面部扫描 - 标记鼻尖和其他点。 其次,另一种算法根据其标志排列所有扫描并将它们组合成模型。 第三,算法检测并移除坏扫描。

“这项工作的真正重要贡献在于它们展示了如何使这一过程完全自动化,”威廉史密斯说,他在英国约克大学研究计算机视觉并没有参与这项研究。 在德国达姆施塔特的弗劳恩霍夫计算机图形研究所的计算机科学家艾伦·布伦顿(Alan Brunton)表示,在许多面孔上标记数十种面部特征“非常繁琐”,他也没有参与其中。 “你认为点击一个点相对容易,但口角确实在哪里并不总是很明显,所以即使你手动执行此操作也会有一些错误。”

但布斯和同事们并没有就此止步。 他们将他们的方法应用于一组近10,000个人口统计学上不同的面部扫描。 扫描由整形外科医生Allan Ponniah和David Dunaway在伦敦的一家科学博物馆完成,他们希望改善整形手术。 他们找到ICL的计算机科学家Stefanos Zafeiriou帮助分析数据。 将算法应用于那些扫描创建了他们称之为“大规模面部模型”或LSFM。 作者在对现有模型的测试中, ,作者在即将出版的“ 国际计算机视觉杂志”中报道。 在一次比较中,他们从照片中创建了一个孩子脸部的模型。 使用LSFM,模型看起来像孩子。 使用最流行的现有变形模型之一 - 完全基于成年人 - 它看起来像一个不相关的成年人。 Booth和他的同事甚至有足够的扫描来为不同的种族和年龄创建更具体的变形模型。 他们的模型可以根据形状自动将面部分类为年龄组。

Booth的团队已经开始使用新模型。 在另一篇论文中,研究人员使用他们的LSFM合成的100,000张面来训练人工智能程序, 。 该方法可用于查看犯罪嫌疑人在相机上看到的从不同角度或20岁以上的样子。 人们也可以充实并从肖像画中诠释历史人物。

LSFM也可能很快就会有医疗应用。 如果有人失去了鼻子,该技术可以帮助整形外科医生确定一个新的应该是什么样的,考虑到脸部的其余部分。 面部扫描也被用于识别可能的遗传性疾病,例如威廉姆斯综合征,与心脏问题相关的病症,发育迟缓和面部特征,例如短鼻子和宽口。 更好的面部模型及其变化可以增强这些测试的灵敏度。 Ponniah说,新模型“打开了几扇门”。

下一步是在模型中包括面部表情,这将允许以任何形式的鬼脸或冷笑识别面部。 Zafeiriou说他们目前回到博物馆,扫描更多的访客。