抽象化艺术反映了人类丰富的想象力,在人类文明发展过程中占有举足轻重的地位。如今,卡通效果已经被广泛应用于电影、电视、游戏、网络、广告、科普示图以及医学成像等诸多领域。中国拥有世界上最大的动漫产业消费市场以及在线聊天群体,被抽象化之后的可视信息往往能够更加吸引人眼的注意力,是艺术家和观看者之间信息交流的桥梁。图像和视频抽象化是把真实的照片或录制好的视频转换成非真实感效果的重要技术,因而对这方面的研究不仅具有重要的理论意义,而且还具有现实的应用价值。本文主要研究图像和视频抽象化中的若干关键技术,具体包括基于颜色的图像风格迁移、基于特征流场的流线感抽象化、基于形状简化的抽象化、基于视觉感知的非均匀抽象化以及基于可编程图形硬件的加速优化算法。1.我们提出了一种实时的基于颜色的图像风格迁移方法。首先,我们将输入图像从RGB颜色空间转换到oRGB颜色空间。该oRGB颜色空间能够充分地分离出彼此独立的白-黑、红-绿以及黄-蓝等三个颜色通道。然后,我们利用基于统计分析的颜色校正技术对两个彩色通道进行迁移。同时,我们运用直方图匹配算法对亮度通道进行迁移。我们还可以对颜色迁移后的图像进行抽象化以增强视觉效果。最后,我们把oRGB颜色空间转换回RGB空间得到最终的处理图片。当将一幅目标图像的颜色风格迁移到一段视频时,由于目标图像的颜色统计值以及亮度直方图都是不变的,我们只需要对相关信息计算一次来减少处理时间。2.我们提出了一个实时的基于特征流场的流线感图像和视频抽象化框架。首先,我们将输入图像从RGB颜色空间转换到CIE Lab颜色空间或oRGB颜色空间并只对其中的亮度通道进行后续操作。接下来,我们用迭代双边滤波的方法逐渐构造出一个光滑、连贯且特征保持的边缘切向流场。利用这个特征流场,低对比度区域用基于流场的双边滤波器进行平滑操作,而高对比度区域用基于流场的高斯差分滤波器进行进一步加深。然后我们再将抽象化后的图像用软量子化方法使其进一步卡通化并改进其帧连续性。最后,我们将结果转换回RGB颜色空间得到最终抽象化图像。3.我们采用一个更加准确的视觉感知模型,并提出一个实时的非均匀图像和视频抽象化框架。为了同时减少空间和时间的视频噪音,我们将时间视为第三维,对视频应用一次三维的双边滤波。然后我们导出一张光滑的兴趣区域函数图,该兴趣区域函数图基于一个视觉注意力模型,能很好地反应人眼的注意力。最后,我们再利用这张兴趣区域函数图来指导自动的非均匀抽象化。4.我们提出了一个实时的基于形状简化的图像抽象化框架,该框架能同步地简化图像中的形状和颜色信息。我们迭代地对边缘切向曲线进行双边滤波以得到一个光滑连贯的特征流场。该特征流场指示了输入图像的显著特征方向。然后我们用受特征流场约束的平均曲率流滤波器来迭代地简化和收缩图像的整体形状。最后,我们用Shock滤波器以保护重要的边界信息。为了直观地控制抽象化的程度,我们可以迭代地和渐进地应用上述滤波过程。由于颜色信息包括红、绿、蓝三个彩色通道,为了得到较好的颜色简化效果,我们对该三个彩色通道独立地进行抽象化处理。5.本文所提出的各图像和视频抽象化算法都是专门为图形硬件的并行处理特性而设计的。因此,我们的方法具有高度的可并行性,能够在可编程图形硬件上实时实现。另外,本文的抽象化系统无需任何人工交互,初级用户也能方便地制作出各种生动的卡通效果。最后,自动且实时的抽象化技术使我们还能方便地对在线视频或图像进行实时处理。