基于时空语义的交互式视频抠图方法

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:maxzhk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着短视频创作、视频直播等新媒体应用的日益普及,基于抠图的视频内容编辑已经成为一种常用技术。然而,抠图质量影响着整个视频编辑的效率和感官,本文围绕视频抠图质量问题,就如何通过抠图技术提升抠图质量,实现高质量的视频前景目标提取开展了一系列研究。近年来已经涌现许多高性能的抠图方法和模型,但在视频抠图任务中仍存在以下局限:(1)现有图像抠图算法的性能严重依赖于三分图的质量,而高质量三分图绘制复杂耗时,因此阻碍了其在视频抠图任务中的实际应用。(2)现有视频抠图方法通过语义分割获取抠图的先验信息,但由于缺乏时间维度上的一致性约束,在复杂时变场景下对细节信息的语义特征提取并不准确,且无法感知用户意图。引入时空语义理解和少量用户交互可以更好地实现对掩膜的语义分割和时空传播,提升视频中特定前景目标的抠图精度。本文主要工作及贡献如下:针对图像抠图算法依赖三分图先验质量的问题,第三章提出了一种基于语义分割的交互式抠图算法,用于对视频帧的抠图。所提算法无需三分图,只需少量用户交互(如几次点击)所提供的先验信息,结合深度学习中的语义理解,实现抠图掩膜的定位与分割,并可通过少量交互操作实现对掩膜的修正,最后结合基于掩膜的抠图模块,从而获得更加精确的抠图结果。对比实验表明所提算法不仅提升了抠图效率,且精度与当前最好的三分图抠图算法接近。针对现有视频抠图缺少时间维度的一致性约束的问题,第四章在第三章视频帧抠图的基础上,提出一种基于时空语义的抠图掩膜传播方法。通过时空记忆模块和掩膜融合模块,对关键帧掩膜在向相邻帧进行时域传播过程中可能出现的冲突特征进行融合,实现掩膜在邻近帧间传播的时空一致性,以保证视频抠图的结果满足时空一致性约束。
其他文献
当前,非虚构写作逐渐进入主流视野,新媒体平台的崛起,让越来越多写作者以见证者、亲历者的身份书写底层人群的生活面貌。这种创作实践在叙事主体、叙事视角等方面都呈现出独特的风格与价值,在新的媒介环境下为底层的表达提供了可能性。但另一方面,长期以来,学界围绕斯皮瓦克提出的“底层能否说话”“底层如何被叙述”的讨论甚嚣尘上,而新媒体参与底层叙事,也为上述讨论提供了新的意义。本文以当前体量最大的“非虚构”微信公
学位
作为我国经济增长的关键产业,随着城镇化及老龄化加速、消费结构升级、居民收入增加以及健康中国战略的推进,医药行业在我国政策的大力支持下在“十三五”期间保持较快速度发展。与其增长相对应的则是医保改革、行业监管日趋严苛以及竞争愈加激烈,机遇与挑战共存。中医药是我国医药行业的重要组成部分,是传承了我国特色文化的民族产业。片仔癀与云南白药是中医药企业中独有的两家享有国家永久配方保护的“特权”企业。作为行业内
学位
本文选取2012-2019年的沪深A股上市公司为样本,以高铁开通作为外生冲击,采用双重差分模型研究了上市公司在高铁开通前后的创新水平变化,并进一步利用机构实地调研数据深入探究高铁开通影响企业创新的内在机制,且将其与已有文献中的高级人才流动机制进行了比较,最后本文还做了一系列异质性检验。研究结果表明:(1)高铁开通会提升上市公司的创新水平,对非技术创新水平的促进作用稍大于对技术创新水平的促进作用,对
学位
公益一类事业单位是国家机构的重要组成部分,其举办和运行的主要资金来源为财政拨款,从单位内部管理的角度来看,优化公益一类事业单位财政资金预算执行管理,有助于其控制运行成本,提高运行效率,从而更好地发挥单位职能,为社会提供优质的公共产品和公共服务。但当前公益一类事业单位预算执行中仍存在一些问题,究其原因,既有单位内生动力不足,也有外部约束不够。为此,阐述加强公益一类事业单位预算执行管理的重要意义,分析
期刊
自动驾驶不仅可以缓解驾驶压力、提高工作效率、优化交通流量,还可以减少交通事故、提高安全系数。基于这些优点,自动驾驶正在飞速扩大其市场规模。然而,随着自动驾驶车辆智能化的升级,其所产生任务的数量和复杂度也在上升。车载计算单元的计算压力愈渐沉重,造成任务响应时间上升以及用户服务质量下降的局面。移动边缘计算凭借其靠近数据产生侧的特性,具有低时延、高可靠等优点,因此越来越多的自动驾驶任务正在进行边缘端的卸
学位
醉酒型危险驾驶罪进入刑法领域规制已取得初步的完善,但司法实践中仍存在着定罪构成要件把握不当、缓刑适用难和量刑标准不明确导致量刑不均衡等问题,阻碍该罪现代化治理进程。实现本罪的现代化治理有必要进一步分析该罪的犯罪类型,准确把握构罪要件;细化量刑标准,提高缓刑适用率;以相对不起诉为支点探索出罪路径,保障社会关系修复。同时,建立轻罪前科消灭制度,作为本罪治理的配套措施,在面临犯罪结构转变的轻罪时代,推动
期刊
住宅设计所涵盖之范围通常指与商品房住宅及独立楼栋住宅相关的室内外空间布局及装饰艺术设计,其发展与人们生活水平日益提高密切相关,且与地域、自然文化互相影响,也是人们对本土文化的认知与接受程度的直接反映。在现代化城市发展的进程中,与之相对应的本土化思潮也应运而生,强调多元化、民族化之趋势日益增强,彼时直接应用于民族的或传统的设计也逐渐受到业界的青睐,相关应用实践及学术研究亦层出不穷。在此,如何更好地将
学位
原子频标主要用于卫星导航、授时守时等方面。但随着移动通信、野外救援等军用和民用的应用需求,小型化的原子频标的市场需求也越来越广泛。市场上小型化的原子频标主要有CPT和小型化传统铷原子频标。CPT原子频标在体积上有较大优势,但因原子信号强度不强,其稳定度较差。而谱灯抽运铷原子频标结构简单,可靠性高,性能优异,但目前较为成熟的商用小型化铷原子频标产品体积较大,尤其是厚度多在30~40mm,无法满足一些
学位
随着市场经济的不断发展与我国国内生产总值的逐年上升,行政事业单位在我国市场经济中的地位越来越重要,但受到预算执行管理水平的影响,其在单位职能的良好发挥上还有改善的空间。基于此,本文从行政事业单位预算控制的意义入手,分析行政事业单位预算执行管理现状,提出新形势下加强行政事业单位预算执行管理的措施,希望能够为相关人员提供参考借鉴,从而助力行政事业单位实现稳定发展。
期刊
近年来,传统商业银行进一步加快转型升级步伐,金融与科技企业协同创新、共同发展的格局已逐步形成。为进一步贯彻习近平新时代中国特色社会主义思想以及贯彻落实党的十九大精神,以创新驱动推动高质量发展实现赶超,各省相继出台了《关于进一步推进创新驱动发展七条措施的通知》等指导文件,加大科技型企业支持力度。因此,兴业银行需将“业务转型”作为核心重点,指导推动新时代下客户经理营销思路的转变,抢夺科技型企业市场。本
学位