论文部分内容阅读
随着数字媒体技术的迅速发展,由数字摄像机、网络摄像头、手机、掌上电脑、监控摄像头等拍摄的视频数据呈爆炸式增长,形成了大规模的视频数据库。对这些视频中的重要目标对象进行有效的浓缩和编辑,是计算机图形学、计算机视觉中的一个前沿研究课题。视频对象浓缩与编辑目的是保护原始视频中的重要对象内容,消除其冗余信息,生成内容远小于原始视频的对象摘要视频,同时支持视频对象的复制与移动、移除与修复等编辑操作。视频对象浓缩与编辑在视频的快速浏览,视频存储、传输和检索,视频分享和传播,以及视频游戏与娱乐等领域有着广泛的应用。有效、快速的视频对象浓缩与编辑研究面临诸多困难。本文主要发现以下几方面的问题:当在时间域上对视频对象进行浓缩时,如果仅在时间域移动对象,容易导致对象之间发生严重的碰撞和遮挡瑕疵,影响用户对视频内容的准确观察和理解;当在空间域上进行对象敏感的视频浓缩(又称为“缩放”)时,需要有效保护视频中重要内容及对象,避免过度挤压和变形不重要的区域,否者将出现明显的扭曲瑕疵;此外,现有的方法都无法对视频对象本身的运动动作进行保持动作协调性的浓缩和编辑,且没有方法对浓缩后的视频进行全方位、多视角、交互式地展示。围绕上述关键问题,本文从多个角度较为系统地研究了视频中对象的浓缩与编辑问题。首先在时间域上研究视频多目标对象的浓缩和编辑,然后在空间域上对视频内容的浓缩和编辑进行了探讨和研究,接下来进一步深入研究视频中单个运动目标对象本身的浓缩和编辑,最后本文研究通过合成新视角,全方位、交互式地展示视频浓缩和编辑结果。具体地,本文主要研究内容及贡献有:(1)提出了基于对象时空优化的时间域视频多目标对象浓缩与编辑算法,通过构建对象时空优化模型,在视频时间域和空间域同时移动视频对象,增加了视频对象的运动空间。不仅能在时间方向上更加紧凑地压缩视频内容,同时还解决对象之间严重碰撞和遮挡的问题。此外,提出了一个基于马尔可夫场的多层次图像块重分配算法,用于合成更加紧凑的视频背景,为位置优化后的对象提供与之匹配的运动背景。(2)研究了结合变形和概述的空间域视频浓缩与编辑方法,有效保持视频空间域浓缩中重要对象物体,同时避免非重要区域的过度扭曲,获取符合视觉认知的视频对象浓缩与编辑结果。该算法首先使用保特征变形方法对输入视频进行预处理,得到初步浓缩结果,然后使用概述方法对初步结果进行合成优化处理,减少初步结果中变形处理导致的扭曲瑕疵,同时可对视频对象进行对象修复等编辑操作。(3)提出了基于对象部位重组和拼接的运动目标浓缩与编辑方法,消除视频中运动对象的冗余动作,同时保持原运动目标重要运动信息。首先提出了基于马尔可夫随机场的对象部位重组优化算法,有效选取出对象各个部位最重要的动作,并将其重新组合。然后提出了对象部位拼接优化算法,将组合在一起的对象部位进行无缝拼接,得到最终的对象浓缩和编辑结果。(4)构建了视频浓缩的多视角合成和交互式浏览系统,解决了多视角、全方位、交互式地播放和浏览视频浓缩及编辑结果的问题。提出的投影遮挡消除算法解决了当前视角下物体投影和遮挡问题。并提出了根据视频内容自动生成最佳观察视角的方法,随着浓缩视频的播放实时调整最佳观察视角。本文的四个主要研究内容始终围绕着视频对象的浓缩与编辑这一主题,环环相扣,层层深入,构成一个有机的整体,初步形成了完整的视频对象浓缩、编辑、与多视角浏览系统。在多种不同类型视频上的实验结果证明了本文提出的算法的有效性。本文算法可应用于增强现实、视频检索、视频压缩、智慧城市、影视视频编辑、监控视频处理等领域。