杜克大学的研究人员开发了一种人工智能工具,它可以将比以前更精细的细节转化为令人难以置信的令人信服的计算机生成的肖像,从而使模糊的面孔和无法识别的照片成为现实。
以前的方法可以将人脸图像缩放到原始分辨率的八倍。但是杜克的团队想出了一个办法,可以取几个像素,创建一个分辨率高达64倍的逼真人脸,并“想象”出精致的线条、睫毛、胡茬等功能,这在第一时间是无法实现的。位置。
领导该团队的杜克大学计算机科学家辛西娅鲁丁(Cynthia Rudin)说:“在如此高的分辨率下,我们以前从未创建过像这样的超高分辨率图像。”
研究人员表示,该系统不能用于识别人:它不会将安全摄像头拍摄的散焦和无法识别的照片变成真实人物的清晰图像。相反,它可以生成不存在但看起来真实的新面孔。
虽然研究人员用面部表情作为概念证明,但从理论上讲,同样的技术几乎可以拍摄所有物体的低分辨率照片,创造出清晰生动的图像,其应用范围涵盖医学、显微镜、天文学和卫星图像。作者萨希特梅农' 20,刚从杜克大学毕业,获得数学和计算机科学双学位。
研究人员将在6月14日至6月19日的2020年计算机视觉和模式识别(CVPR)会议上介绍他们的方法,称为脉冲。
传统方法使用低分辨率图像,并试图通过将平均值与计算机以前看到的高分辨率图像中的相应像素进行匹配来“猜测”需要额外的像素。作为这种平均的结果,毛发和皮肤中可能从一个像素到下一个像素不完全对齐的纹理区域最终会看起来模糊。
杜克团队想出了另一个方法。系统不会搜索低分辨率图像,慢慢添加新的细节,而是搜索AI生成的高分辨率人脸示例,在缩小到相同尺寸时,尽可能搜索那些看起来像输入图像的人脸。
该团队在机器学习中使用了一种称为“生成对抗网络”(GAN)的工具,这是两个训练相同照片数据集的神经网络。一个网络提供AI创建的人脸,模拟训练好的人脸,另一个网络获取输出,判断是否有足够的说服力被误认为是真的。第一个网络的体验会越来越好,直到第二个网络分不清区别。
Rudin说PULSE可以从有噪声和低质量的输入中创建其他方法无法创建的逼真图像。从一张模糊的人脸图像中,它可以吐出任意多种生动的可能性,每种可能性看起来都像是不同的人。
就连杜克大学数学专业的合著者亚历克斯达米安(Alex Damian '20)也表示,即使对于眼睛和嘴巴几乎无法识别的像素化照片,“我们的算法仍然可以做到这一点,这是传统方法无法做到的。”
该系统可以在几秒钟内将16x16像素的人脸图像转换为1024 x 1024像素,增加了100多万像素,类似高清分辨率。在低分辨率照片中看不到的细节,如毛孔、皱纹和发束,在计算机生成的版本中变得清晰起来。
研究人员让40个人在PULSE和其他五种缩放方法生成的1440张图像上给1到5分,PULSE是最好的,分数几乎和真人的高质量照片一样高。