多尺度非结构化阵列相机的超高分辨率视频合成和车辆跟踪算法研究

来源 :鲁东大学 | 被引量 : 0次 | 上传用户:sb0077
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机视觉作为人工智能领域的核心问题之一,已经在智能感知,无人驾驶,医疗诊断和军事边防等领域广泛应用。图像和视频的质量是影响计算机视觉算法准确率的重要因素,在现有的单目成像系统下大视场和高分辨率细节之间存在难以调和的矛盾,计算机视觉算法因此难以同时达成大范围的检测识别和高精度的检测识别。受到光学透镜成像的衍射和色差等问题的限制,单目相机难以实现大视场亿级像素超高分辨率视频的捕获。因此,基于多相机组合的阵列相机被提出用于大视场超高分辨率视频的合成。传统的阵列相机系统使用视野有重叠的多个相机覆盖大视场视野,需要对所有相机捕获的图像进行匹配和拼接处理,计算量大、效率低导致实用性较差。本文针对现有阵列相机解决方案的局限性,研究并实现一种多尺度非结构化阵列相机的超高分辨率视频合成算法,该算法能自由组合使用多种尺度的相机合成超高分辨率视频,赋予图像传感器阵列场景内容自适应的能力。通过多尺度场景内容关联机制,解决现有的结构化阵列相机硬件成本高、运算复杂和实用性差的问题,实现非结构化阵列相机系统高鲁棒、易标定和可扩展的特性。本文的主要工作如下:(1)针对单目相机在光学成像设计上的瓶颈和结构化阵列相机硬件成本高、图像合成运算复杂的问题,基于视觉信号非同分布性原理,提出一种多尺度非结构化阵列相机的系统结构设计和亿级像素视频合成算法。该系统可以自由地组合使用不同焦距的相机用以合成超高分辨率视频。使用基于SURF的图像匹配方法定位局部相机的位置并计算所有相机的尺度比例关系。使用二次特征提取与视角校正算法实时嵌入合成超高分辨率视频。使用亮度均衡算法用于解决不同相机捕获的图像亮度不一致的问题。实验结果表明,该系统可以实时合成亿级像素的视频,并兼具灵活性和鲁棒性。(2)针对手工设计特征的图像特征点提取算法在真实世界图像上鲁棒性和泛化性较差的问题,利用基于大数据驱动的Super Point网络模型进行高性能的图像特征点提取,并简化阵列相机图像嵌入合成流程,提升阵列相机合成视频的速度。针对Super Point网络模型运算量大的问题,使用深度可分离卷积网络代替传统卷积网络,降低网络模型的参数量和运算量;针对阵列相机的图像特点,优化网络模型训练参数;针对阵列相机的应用场景,使用真实世界高分辨图像对网络模型进行迁移训练。实验结果表明,提出的优化算法在保持特征点提取性能的同时将检测速度提升40%,简化的阵列相机图像嵌入合成算法能够更高效地合成超高分辨率视频。同时,使用手机和相机合成超高分辨率视频,实验结果表明本文提出的基于Super Point的大视场超高分辨率视频合成算法在真实场景下具有实用性和鲁棒性。(3)面向城市道路场景研究车辆轨迹跟踪算法,使用道路环境车辆数据集训练Yolov5s车辆检测模型,并结合Deep Sort目标跟踪算法实现车辆轨迹跟踪。针对远距离图像捕获时图像受雾霾干扰严重的问题,提出使用基于暗通道先验原理的图像去雾算法重建清晰图像。针对Deep Sort算法中基于残差网络的目标图像特征提取器无法获取图像全尺度特征的问题,提出使用OSNet网络模型替代残差网络模型。同时,设计了超高分辨率视频的播放功能。在真实城市道路场景下的实验结果表明本文提出的基于Yolov5s车辆检测模型+改进的Deep Sort算法能够有效地用于超高分辨率视频的车辆行驶轨迹跟踪。
其他文献
绿潮和赤潮是由海水中藻类暴发性增殖导致的海洋灾害,其暴发期间会产生有毒物质造成海洋生物死亡,对沿海地区的水产养殖业、旅游业,以及海洋生态环境造成严重破坏,积极开展绿潮和赤潮监测工作具有重要现实意义。迄今为止,借助卫星遥感的绿潮和赤潮监测算法主要为指数阈值分割方法,即利用指数公式对卫星遥感数据的不同波段进行组合运算,设定分割阈值以提取目标像元信息。指数阈值分割方法凭借计算简单、处理速度快的优点,在绿
学位
材料的磁、光、电、力学等性质很大程度上取决于微观尺度上的晶体结构和电子结构特征。在过渡金属或稀土化合物中,由于洪特规则会使得d或f轨道电子呈现特定的排列形式,从而可能使离子上出现自旋未配对的电子,产生自旋磁矩。当这些磁性离子具有交换作用的时候,电子的库伦排斥力会使得磁矩在空间中呈现周期性结构,即磁有序。磁性材料已经在现代社会中得到广泛应用,比如自旋电子学、粒子加速器等前沿科学领域的核心部件。低维量
学位
为了实现碳达峰碳中和,既要发展清洁、安全、低碳的能源,也需要提高能源的转换利用效率。目前石油化工、汽车尾气、垃圾焚烧等产业废弃热能利用效率不高,造成能源浪费。热电材料可以凭借其声子和载流子的定向运动,来实现将热能转换为可用电能,从而回收利用废热,提高能源的利用效率。这是使全球能源危机得到缓解的可行途径。然而,已发现的热电材料拥有高性能的不多,商业应用前景并不令人满意,因此需要发展更多具有高热电转化
学位
高速发展的信息化社会推动着机器人技术的快速发展,由许多智能个体组合而成的多智能体系统可以完成比较复杂的任务,在许多重要领域中得到广泛应用。现在多智能体协同控制已经成为控制科学与工程领域的热门话题。其中多智能体系统的一致性问题得到了众多领域专家的关注。本文考虑了多智能体系统抗干扰一致性隐私保护问题。主要工作如下:(1)针对带有外部扰动的离散型多智能体系统的协同控制问题,提出了一种可以实现智能体渐近收
学位
当今互联网的快速发展产生了海量高维的图像数据,面对网络上的海量数据,用户如何从中检索出自己需要的信息,成为了研究的热点问题。先前常用于图像检索任务中的传统最近邻检索方法在面临大规模图像数据库时已经不能满足人们实时检索的需求。目前,研究者提出了基于深度学习的哈希方法用于大规模图像检索。但是基于深度学习的哈希算法要达到较好的检索性能,需要一定数量的高质量训练数据来进行模型的学习。但是现实生活中大部分数
学位
鲍鱼营养价值丰富且肉质鲜美,国内外市场对鲍鱼的需求量持续增大,但由于水体恶化、非法捕捞等因素导致鲍鱼的自然产量较低,远不能满足市场对鲍鱼的需求。因此,鲍鱼工厂化养殖快速发展。鲍鱼育苗是工厂化养殖的重要组成部分,鲍鱼育苗过程中需要对鲍鱼数量进行严格的控制,防止饵料投喂不足或养殖密度大导致鲍鱼生长缓慢,密度小影响生产效益;作为种苗出售时鲍鱼大小不一,还需要进行筛选分级。我国现阶段依赖人工对育苗期鲍鱼进
学位
张炜的文学作品极具空间感,尤其在他的小说世界当中,空间类型丰富独特,不同空间随着人物的游走与故事的展开形成互动,既呈现出自身的独具特色与不可替代,又在作家思想的统率之下显露出其背后的社会文化渊源和关乎人生人性的表达。张炜笔下的空间依托于胶东丰富的地理文化资源,涉及到河流、平原、山地、丛林、海洋、高原等自然性空间场域,又多加营构如孤屋、磨坊、城堡、阁楼、葡萄园等具有标志性的空间意象,驳杂空间共同融合
学位
每种贝类都有其独特的贝壳形状和颜色特征,但整体外观相似。对于普通人,甚至是专业人士很难通过肉眼观察准确识别贝类的种类。若通过实验识别,实现实时识别需要的时间太长。因此,本文研究基于卷积神经网络(Convolutional Neural Network,CNN)的贝类识别方法,并研发贝类识别手机APP,使用户可以随时在线轻松识别身边的贝类,将“识贝、赏贝、爱贝”有机结合起来,唤起公众爱心,激发公众保
学位
互联网服务是一把双刃剑,深深植根于用户数据并创造出巨大的价值,例如对于个人位置信息的跟踪来说,它既是疫情防控的定海神针,又是令人不寒而栗的信息“裸奔”。因此,敏感信息的隐私保护问题已经成为许多领域的热门话题。随着多智能体系统协同控制的研究热度不断升高,其敏感信息的保护也受到了众多学者的关注。在多智能体系统协同控制的各式各样的研究中,信息的交流和共享越来越频繁,多智能体系统的协调控制不仅要考虑在尽可
学位
鱼类检测与跟踪技术作为解决海洋牧场中鱼类计数测量和鱼类行为分析等实际问题的前提和基础,在水产养殖领域中具有重要意义。近年来,基于深度学习的目标检测与多目标跟踪算法成为研究热点,然而在水产养殖领域的研究和应用并不广泛。将目标检测和多目标跟踪算法应用到水产养殖领域并提高鱼类检测与跟踪时的准确率,是一项重要的研究任务,是实现智慧渔业的关键技术之一。本文提出了基于深度学习的鱼类检测与多目标跟踪算法模型,最
学位