论文部分内容阅读
近日,美国杜克大学的研究团队研发了一个AI图像生成模型PULSE。PULSE可以在5秒钟内将低分辨率的人像转换成清晰、逼真的人像。
据了解,PULSE所做的工作并不是把输入的低分辨率人像变成一张高分辨率的人像,而是“一对多”地输出许多张面部细节各不相同的高分辨率人像。比如,用户输入一张16×16分辨率的图像,PULSE可输出一组1024×1024分辨率的图像。
上述研究已在计算机视觉与模式识别会议CVPR 2020上发表,论文标题为《PULSE:通过对生成模型的潜在空間探索实现自监督照片上采样》。
研究人员用高分辨人脸数据集CelebA HQ评估PULSE的性能。为了进行对比,研究人员利用CelebA HQ数据集训练了监督模型BICBIC、FSRNET和FSRGAN。
所有模型均以16×16分辨率的图像作为输入,BICBIC、FSRNET和FSRGAN模型以128×128分辨率图像作为输出,PULSE模型以128×128分辨率图像和1024×1024分辨率图像作为输出。
评估结果显示,图像质量方面,PULSE模型在生成眼睛、嘴唇等图像细节方面的能力优于其他模型。
此外,研究人员还利用平均意见分数(MOS)测试来定量评估模型的分辨率。研究人员邀请40位评估者对6个模型的输出结果进行打分。结果显示,PULSE的MOS分数最高。
研究人员称,未来,PULSE或可被用于天文学、医学等领域。比如,一位天文学研究人员输入一张模糊的黑洞图像,就可以获得许多张可能的天体照片。
据了解,PULSE所做的工作并不是把输入的低分辨率人像变成一张高分辨率的人像,而是“一对多”地输出许多张面部细节各不相同的高分辨率人像。比如,用户输入一张16×16分辨率的图像,PULSE可输出一组1024×1024分辨率的图像。
上述研究已在计算机视觉与模式识别会议CVPR 2020上发表,论文标题为《PULSE:通过对生成模型的潜在空間探索实现自监督照片上采样》。
研究人员用高分辨人脸数据集CelebA HQ评估PULSE的性能。为了进行对比,研究人员利用CelebA HQ数据集训练了监督模型BICBIC、FSRNET和FSRGAN。
所有模型均以16×16分辨率的图像作为输入,BICBIC、FSRNET和FSRGAN模型以128×128分辨率图像作为输出,PULSE模型以128×128分辨率图像和1024×1024分辨率图像作为输出。
评估结果显示,图像质量方面,PULSE模型在生成眼睛、嘴唇等图像细节方面的能力优于其他模型。
此外,研究人员还利用平均意见分数(MOS)测试来定量评估模型的分辨率。研究人员邀请40位评估者对6个模型的输出结果进行打分。结果显示,PULSE的MOS分数最高。
研究人员称,未来,PULSE或可被用于天文学、医学等领域。比如,一位天文学研究人员输入一张模糊的黑洞图像,就可以获得许多张可能的天体照片。