基于深度学习的视觉重复模式分析与应用

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:c126202
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉重复模式指的是在空间上或时间上重复循环出现,并且在图像内或图像序列间形成了一定的排列的模式,结构,物体。具体的例子在人类活动范围内大量存在,如建筑的窗户,货架上的商品,生产车间中的产品,视频中的人类运动等。因此,重复模式的研究与分析具有极高的学术研究价值与工业应用价值。如今,深度学习已经在许多视觉应用上得到了广泛应用,极大地推动了计算机视觉领域的发展。然而,目前基于深度学习的视觉重复模式的研究与分析仍然处于早期探索阶段。这是因为视觉重复模式的定义是一个比较高层次的语义范畴,往往依赖于大量人类先验知识。而目前的卷积神经网络算法只是简单的人为设计网络结构以拟合任务描述,其中的基于先验知识的逻辑推理过程往往被忽略,因此难以解决规则复杂的重复模式分析问题。然而,考虑到卷积神经网络本身强大的特征提取能力以及上下文信息的融合能力,基于深度学习的重复模式分析与应用应当具有极大的潜力。本文为了解决深度学习在视觉重复模式分析与应用中因为规则复杂难以被应用的困境,以如何把人类对于视觉重复模式的先验知识融入深度学习网络为着力点,研究若干个视觉重复模式相关的视觉任务,包括时间域重复模式计数,空间域的密集重复模式目标检测,及重复模式中的瑕疵检测,提出了以下几个创新的内容和工作:1.本文提出了一个精心设计的上下文感知及尺度不敏感的时域重复模式计数框架,用于减少由于模式循环长度在大尺度范围内变化而导致的时域重复模式计数误差。基于对时域重复模式的周期观察,本文提出了一个从粗糙到精细的循环长度修正方法。该方法通过基于多层级结构的传播机制,可以在避免大量运算的同时,为视频的每一个时间点赋予可回归范围内的初始化循环长度估计结果。同时,本文提出了一个上下文感知双循环长度估计方法。该方法是一个以两个连续粗糙循环长度范围内的视频帧信息作为网络输入,以修正后的前循环长度和后循环长度作为网络输出的双循环回归网络。为了给时域重复模式计数领域提供一个更有效的训练和评估环境,本文构建了一个新的当前最大的时域重复模式数据集,里面包含了526个涵盖了多种不同时域重复模式的视频。大量的实验展示了本文所提出方法的有效性。所提出方法里用到的回归网络仅仅在一个数据集上训练就在所有数据集上超越了所有现有方法的结果,展示了所提出方法在面对不同数据分布的时域重复模式数据时有良好的泛化性能。2.本文提出了一个基于区域尺度回归损失的密集重复目标检测方法,提升仅在有少量标注可用于学习参数的情况下的算法性能。该方法的主要创新点是提出了一种针对密集目标检测场景的区域尺度回归损失函数。该损失函数的实现是通过在基础检测网络中加入区域尺度预测分支完成的。通过区域尺度预测分支,基于区域平均尺度的回归损失可以作为一种额外监督信息反馈网络,引导网络更好地学习,从而在少样本学习的过程中减少过拟合的情况。通过实验,本文展示了所提出方法在少量训练样本可用的条件下对于密集目标检测的有效性。3.本文提出了一个可抗形变瑕疵检测网络D4Net,其功能是结合可参考正常图像的信息,并用于辅助检测给定测试图像中的瑕疵。该网络主要解决的问题是在带有视觉重复模式的非刚性产品生产监控过程中,如何利用视觉模式的重复性找到产品表面上的瑕疵。该网络的主要特点是通过边缘损失函数压制非刚性形变特征在高层语义空间中的表达,以此增大视觉瑕疵与非刚性形变间的可分性。为了提供贴近真实场景的训练和测试环境,本文还提出了一个基于蕾丝布面的瑕疵检测数据集。大量实验结果表明,在一个来自世界排名前十的蕾丝面料制造商的共有六万七千张图像数据的蕾丝面料瑕疵检测数据集中,D4Net取得了目前的最佳性能,为96.9%的精度和91.7%的F值,这验证了所提出的方法在工业应用中的有效性。
其他文献
近年来,随着我国交通运输能力需求的增加,小净距隧道已经成为常用的结构形式,对于小净距隧道,其设计、施工的难度会相对大大增加,并且两个隧道相距越小,既有隧道受到新建隧道爆破施工的影响程度就会越大,因此,小净距隧道在爆破施工过程中产生的动力响应作为一个重要的研究课题,目的是保证小净距既有隧道运营安全和新建隧道施工进度的情况下制定出可行的爆破开挖方案。本文依托青岛地铁1号线瓦-贵区间隧道为工程背景,根据
行波管属于电真空放大器件,应用于雷达、卫星、航空等多个行业,行波管内部构造复杂,使用的零部件繁多,相对于其他电子元器件加工周期而言,行波管加工周期漫长。随着信息化技术的不断提高,传统的零部件生产管理系统已经不能满足单位日益增长的任务需求。本论文从实际需求出发,结合行波管加工生产的过程,针对行波管零部件的生产设计,开发一款行波管零部件生产管理系统。该生产管理系统基于MVC三层架构,采用B/S模式,选
目的:本实验旨在研究细胞外信号调节蛋白激酶-5(ERK5)是否在体内外参与肺纤维化的发病过程,进一步研究ERK5对体外培养的人肺成纤维细胞自噬、凋亡及增殖的调控和ERK5抑制剂对博来霉素诱导的小鼠肺纤维化的影响,为肺纤维化的治疗提供新的实验依据。第一部分探讨ERK5在人肺成纤维细胞中对自噬、凋亡和增殖的调控及对人肺成纤维细胞转化为肌成纤维细胞(表型转化)的影响。方法:(1)用TGF-β1以10ng
基于铌酸锂晶体光折变效应的微流控芯片以其简单的结构,可靠的效果引起了各领域研究人员的广泛关注。该芯片通过光折变空间电荷场产生的介电泳力实现对介电液滴的非接触光操
研究目的本研究通过对部分在校大学生进行1000米/800米场地测试和运动负荷机能试验,分析比较心肺耐力测评两条技术路线的一致性与相关性,研究其内在联系和机理机制,为现有测评方案提供理论依据,为更好的完善指标和评价大学生心肺耐力体系提供实践支撑。研究方法试验对象为在校身体健康大学生,社体专业和普通专业各34人,依据国家学生体质健康标准开展场地测试:男1000米,女800米。两周内再进行运动负荷机能试
目的:通过分析改良鼻内镜评分、嗜酸性粒细胞-淋巴细胞比值(eosinophil-tolymphocyte ratio,ELR)、嗜酸性粒细胞绝对值(absolute value of eosinophils,EO#)、嗜酸性粒细胞百
目的通过定群研究,分析小学生尿中甲基叔丁基醚(英文缩写MTBE)暴露水平及影响因素,了解小学生尿中MTBE暴露水平与个体PM2.5外暴露水平、大气中PM2.5、PM10、O3、CO、NO2、SO2等含量之间的相关关系。方法(1)调查对象:选择生活模式较为固定,生活方式变化少,在校时间规律,依从性好,混杂因素少的在校学生。本研究排除依从性差、住校、不能全勤、有外出等因素,随机抽取昌平区智星小学六年级
视频监控系统因为其能实时、真实、形象地反映现场情况,已成为综合体现代化管理中的一种极为有效的工具。目前,视频的目标识别与跟踪已广泛应用到国防、科工等多个行业。如果能在公交综合体中也得到运用,我们就可以通过移动目标检测与跟踪技术来对综合体内的人流进行识别与跟踪,同时获取移动速度与轨迹,进一步提升管理水平降低安全事故的发生率。为了实现对综合体内人员的检测与跟踪,本文运用软件对视频图像预处理,运动目标的
烟曲霉是一种环境中普遍存在的腐生性的条件致病菌,多种因素调节其对宿主的致病性。在进化过程中,烟曲霉形成了一套复杂的系统去适应不同的宿主生态位,逃避宿主的免疫防御。
钛基纳米材料,如二氧化钛和钛酸锂,因其优异的物理、化学性能、丰富的资源和廉价便捷的制备工艺,在各行各业得到了广泛的应用。尤其在锂离子电池、钠离子电池和锂硫电池等电化学储能领域,钛基纳米材料以其优异的倍率性能和循环稳定性,备受科学界和产业界的关注。但是传统钛基纳米材料也存在相关的问题,比如平台电压高、容量低,因此严重影响电池能量密度,制约了钛酸锂材料在小型电动汽车领域的进一步推广应用。为战胜上述挑战