多场景视频动态模式的研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:w00003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,视频已经成为信息传播的主要载体之一。相对于单帧静止图像,视频不仅记录了单帧图像中的空间维度信息,还包含了帧与帧之间的时间维度信息。为了表征和刻画视频中的时间维度和空间维度信息,相关研究人员引入了动态模式的概念。动态模式指视频中表现出复杂空间和运动模式的时空过程,包括动态纹理(如瀑布、火焰)以及运动模式(如面部表情、动作)等。动态模式的生成、判别与表征是视频相关应用的基础,也是计算机视觉领域的热门研究课题。
  国内外的研究人员已对多种应用场景下的动态模式进行了大量的研究,并取得了系列成果。然而,受制于视频在不同应用场景下的固有特性,动态模式的研究中仍存在大量问题亟待解决,特别是:对于涉及动态模式的生成任务,现有方法不能有效地对小样本序列建模;对于涉及动态模式的判别任务,现有方法不能应对由多种原因引发的拍摄目标外观突然性改变所导致的动态模式突变问题;对于涉及动态模式的表征任务,现有方法容易受无约束视频中复合运动干扰。
  针对上述的问题,本文围绕着多场景视频中动态模式的生成、判别与表征,完成了以下工作:
  首先,针对现有动态模式生成方法无法对小样本序列有效建模的问题,本文通过挖掘并利用数据固有的相似性先验知识,提出了一种基于核相似性嵌入的动态模式生成模型,将核学习和极限学习机集成为统一的生成模型,通过学习核相似性嵌入以挖掘和利用动态模式固有的相似性先验信息,有效表征动态模式序列中帧间时空传递关系,从而改善小样本条件下的动态模式生成质量。本文以动态纹理这类具有代表性动态模式为例,验证了该模型对小样本条件下动态模式生成建模的有效性。提出方法在生成速度、生成效果、持续稳定性等方面相比于现有方法有较好提升。
  其次,针对现有动态模式判别方法不能应对模式突变情况的问题,本文通过挖掘并利用动态模式的帧间联合相似性信息,提出了一种基于多帧联合建模的动态模式判别方法。为了充分利用帧间联合相似性,通过正则多任务学习同时在多帧上学习判别模型,并通过约束使其相互接近,从而学习到目标在多帧上的鲁棒性信息,减少动态模式突变对判别模型的影响。本文以判别式跟踪器这一动态模式判别的典型应用为例,验证了该模型对模式突变视频中动态模式进行判别的有效性。提出判别方法可以处理动态模式的突变情况,且能够兼顾跟踪效果和跟踪速度。
  最后,针对现有动态模式表征方法不能应对无约束视频中复合运动的问题,本文通过挖掘并利用背景的运动模式一致性信息,提出了一种基于局部运动向量场对比度的动态模式表征模型,通过度量临近区域间的运动状态差异来消除无约束视频中复合运动干扰,并表征无约束视频中的局部运动模式。本文以动态视频显著性检测这一动态模式表征的典型应用为例,说明了该模型对模式突变视频中动态模式进行表征的有效性。提出表征方法可抑制摄像机复合运动的干扰,并具有较快的处理速度。
其他文献
随着万物互联时代的到来,越来越多的智能家居、电子产品进入人们的视线。家庭、企业以及密集区域所有事物的数字化驱动WiFi技术不断创新以满足不断增长的客户需求。2019年3月,IEEE标准协会对下一代WLAN标准EHT(Extremely High Throughput)工作组的文件审核立项,定名802.11be。为了获得更高的吞吐率和更低的延迟,启用6GHz频段将是802.11be的重大改进。本文从802.11be标准的研究现况出发,在6GHz频段与2.4G/5.8G频段进行多频段协作通信的层面对MAC协议
我国有4000万失能、半失能老人,“一人失能,全家失衡”,送往机构养老就成了最好的选择。而另外一个数字是,现有养老护理员仅50多万,存在着巨大的缺口。   在养老院里,护理员们守護着长者最后一程,也看到了自己的人生。老小孩   人到了85岁,不,还得再年轻些,80岁,会是什么样子?   饭菜一定是软软烂烂的,有些老人鼻子里会有一根细细的导管连入食道,人工慢慢推压打成碎末的流食滑入胃部;皮肤像
期刊
基于交错正交幅度调制的滤波器组多载波(Filter Bank Multicarrier with Offset Quadrature Amplitude Modulation,FBMC-OQAM)调制方案是下一代移动通信的热门多载波调制方案,它相对于5G标准使用的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)方案具有带外能量泄露低、适应时频偏差能力强、频谱利用率高的技术优点。但是,它们都具有峰值平均功率比(Peak to Average Po
随着大量智能设备(如智能手机、平板电脑、便携电脑)和海量物联网的快速普及,以及各类新业务和应用场景的蓬勃发展,无线移动设备的流量需求极速攀升。海量流量需求在第五代移动通信系统(the fifth generation, 5G)中通过应用大规模天线、毫米波和超密集异构网络等技术提高网络容量来得到解决。然而,在5G通信系统中无线信道特征将表现出不可忽视的空间差异性。同时,由于用户密度增加导致用户之间无线传输环境有部分重叠,使得相邻用户无线信道的空间相关性增强。无线多接入信道空间相关性表现为基站不同方向上无线信
随着多媒体技术的高速发展,全景应用逐渐吸引了人们的广泛关注。区别于传统的二维(two dimension, 2D)应用,全景应用可以为用户立体的呈现完整的场景信息,并且,给予了用户在全场景范围内任意选择视点观看的自由,实现了用户与场景的自然交互。然而,全景应用在实现全场景的观看体验的同时也给数据的存储、编码、传输带来了巨大的压力。在此背景下,研究人员根据全景应用的实际需求,设计了球形全景应用系统和对象全景应用系统。在实际应用中,两套全景系统有效的减少了全景应用中需要传输的数据量,然而,却引入了全景图像和立
自然语言理解是研究计算机如何理解并处理自然语言数据的一门学科,包括机器翻译、文本问答、情感分类等多种子任务。在自然语言处理领域,许多传统的机器学习算法,如支持向量机、高斯混合模型、随机森林等都在此领域得到了有效的应用。近年来,深度学习受到了越来越多的关注,其中深度神经网络得到了较大的发展,并且被成功地应用于自然语言理解、图像处理等多个领域。神经网络是一个由多个神经元(cell)高度联结构成的网络结构。结合自然语言理解中子任务的特点,许多不同类型的神经网络被提出。最近,有部分工作表明引入合适的注意力机制可以
提起音乐剧,人们最先想到的一定是美国百老汇和英国伦敦西区:《悲惨世界》《猫》《奥克拉荷马》《音乐之声》《西区故事》……这些经典音乐剧历久弥新。  而率领国际团队打造完成中国原创音乐剧《妈妈再爱我一次》的音乐剧制作人李盾认为,近年来,音乐剧在中国的发展也很快,“世界舞台需要的中国元素越来越多,中国原创音乐剧走向世界的时刻已经到来。”  母爱是永恒的主题  音乐剧《妈妈,再爱我一次》是李盾继《蝶》《爱
期刊
为将云计算下沉到网络边缘,边缘无线节点将逐渐具备文件缓存、任务处理功能。然而,经典的云-网分离的调度机制无法充分利用无线网络中分散的通信、计算和缓存资源。为应对资源受限与需求增长之间的矛盾,本博士论文以最大化网络吞吐量为目标,对通信、计算和缓存资源优化调度开展了系列研究。对可预测的多媒体通信需求,研究缓存资源受限下无线网络的流行文件放置问题,提前优化流行文件在网络内的缓存位置。进一步,对不可预测的计算型通信需求,研究计算资源受限下无线网络的计算型通信任务调度问题,实时均衡网络内中央处理器(Compute
随着人工智能技术的不断发展,医疗智能化已成为人工智能发展的一个重要方向。然而将人工智能技术应用到医疗辅助诊断中,依然面临着许多技术上的问题需要解决。由于淋巴结区域和病变淋巴结在临床疾病评估和诊断中所起的重要作用,本文以胸腔内淋巴结区域和病变淋巴结为研究对象,基于CT和PET两种医学图像模态,分别从淋巴结区域的识别、区域内病变淋巴结的识别及病变程度量化评估、病变淋巴结分割三个主要方面展开相关研究。具体地,本文的主要研究工作和创新点有:
  (1)提出了一种基于AAR(AutomaticAnatomyR
海量的遥感数据分析需要高效的机器解译手段。遥感图像的分割精度直接影响遥感图像的解译水平。高分辨率遥感影像由于含有丰富的地物细节信息,已成为当下遥感应用的重要研究方向之一。目前图像分割的方法通常采用有监督的学习——机器在进行自动标注工作之前,需要先学习人工已经标注好的样本。为了满足大规模样本标注的实际需求,以“众包”标注为代表的借助众多人员进行样本标注的方式正逐渐成为主流。然而,采取这种标注方式获得