5G远程驾驶场景下基于特征点匹配的图片拼接加速技术研究

来源 :兰州大学 | 被引量 : 0次 | 上传用户:kensy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能技术的发展,智能驾驶技术越来越成熟,发展智能驾驶对于促进国家各个方面的发展都具有重大意义。但是,智能驾驶仍然有很多技术问题亟需解决,尚不能大规模应用。5G远程驾驶作为智能驾驶的一个分支,有广泛的应用前景。5G远程驾驶系统包括室外的无人驾驶车以及室内的模拟驾驶系统,为了使驾驶人员能够获取车辆周围环境的信息,需要向驾驶室传输车辆周围的视觉信息。一般采用的方法是传输环视像机采集到的图像数据,但是环视摄像机非常昂贵。为了节约成本可以使用多个单目相机,但这存在三个问题:第一,多个单目相机在视角上要求存在40%~50%的重叠区域,以防止摄像机之间存在的死角。但重叠区域的存在降低了有效图像信息的比例,增加了数据传输量,容易造成高延时;第二,多个单目相机画面边界不连贯,对于操作人员来说难以达到最佳的驾驶体验;第三,多个单目相机的视频是单独传输的,不同相机同一时刻的图像帧并不能保证同时到达驾驶室,即无法保证视频流的同步性。针对以上问题,本文将图片拼接算法应用到5G远程驾驶中,将不同像机的图像拼接后再传输到驾驶室中。但传统的图片拼接算法耗时较高,难以满足5G远程驾驶对于实时性的要求。因此,本文提出了一种基于特征点匹配的图片拼接算法,通过将特征点进行分类,针对每个类别中的特征点进行匹配可以极大的提高特征点匹配效率,从而降低图片拼接所消耗的时间。实验表明,使用最快的ORB(Oriented FAST and Rotated BRIEF)特征点匹配算法进行图片拼接需耗时83.3ms,而本文提出的基于特征点分类的图片拼接算法耗时可以降低到69.7ms,极大的提高了图片拼接的效率。此外,本文设计并实现了一种5G远程驾驶方案,通过在该方案的视频传输模块中使用本文提出的图片拼接算法,表明了该拼接算法在视频传输的同步性和驾驶体验上均满足5G远程驾驶的需求。综上,本文主要包括以下内容:第一,本文发现了待拼接图像重叠区域中的特征点数目分布规律:重叠区域保持在同一水平方向的特征点数目的分布具有极高的相关性。据此,本文提出了一种特征点分类算法,并使用基于相关系数的特征点集的匹配方法解决了特征点的旋转不变性问题。第二,本文将该特征点分类算法应用于ORB特征匹配算法的特征点提取中,通过多线程的方式对所有特征点进行分类处理,使每个线程需要处理的特征点数目降低了一个数量级,从而极大地提高了特征匹配的效率。通过将该特征点分类算法应用于传统特征匹配算法如ORB、SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)的特征向量匹配阶段,发现经过特征点提取阶段的筛选后,对应方向上特征点数目的分布仍然具有高相关性。因此,在该阶段应用多线程处理可以提高传统算法的特征匹配效率。第三,本文通过将待拼接图片分割为两个部分,分别对这两个部分进行基于透视变换和仿射变换的方法拼接,实验表明,相比于传统的基于桶状修正的图片拼接方法,该方法在图片拼接的速度上有巨大的提高。第四,本文通过使用错帧同步技术,将连续的图片缓冲到子线程中,避免了丢帧的问题,实现了视频的实时处理能力。实验表明使用该技术能有效提升视频的流畅度。第五,本文结合实时视频处理技术、基于激光雷达的定位技术和远程控制技术,设计了一种5G远程驾驶方案,该方案使用了6个单目相机和一个激光雷达。通过将基于特征点分类的特征匹配算法应用于实时视频处理模块中,解决了相机之间画面同步的问题。实验表明,该方案相比一般的5G远程驾驶方案在提高驾驶人员操作体验的同时,进一步保证了驾驶的安全性。
其他文献
近年来,化学镀已经成为表面修饰技术的主角,应用前景十分广阔。化学镀镀液体系一般分为两种:一种是水溶液体系;另一种是非水溶液体系,例如DMF和无水乙醇。本文采用非水溶液体系(无水乙醇为溶剂)通过低温化学镀技术在铜片基体材料上成功制备了Eu-Ni-B稀土复合镀层和Eu-Co-Ni-B稀土复合镀层(简称Eu-Ni-B镀层和Eu-Co-Ni-B镀层)。以化学镀沉积速率(Plating rate)作为考察指
国医大师朱南孙教授临床主张运用滋水涵木法治疗干眼症。中医病机多因年逾七七,任冲脉虚,天癸竭,肝肾不足,目失所养所致,当以补益肝肾、生津润目为治则。自拟验方朱氏润目更年汤,方中以枸杞子、菊花、熟地黄为君药,佐以增液汤以求滋水涵木,并结合五轮学说中的"白睛属肺",加入肺经药以求白睛润泽能视。考虑到该年龄段的特殊性,在服用中药期间更应重视心理治疗的重要性,应酌情增加疏肝理气之药,畅情志以条达气机。
重金属在土壤中的浓度累积到一定程度后会造成土壤重金属污染。加之重金属所具有的高毒性及难生物降解性,土壤生态环境会因而受到严重威胁,其中污染农田土壤所产生的危害是难以估量的。重金属污染农田土壤后可能会导致农作物体内的重金属浓度过量累积,若误食此类农作物,人类和其他生物的健康安全将会遭受侵害。因此农田土壤重金属污染已成为社会各界高度重视的环境问题之一。武威地处河西走廊东部,不仅是古丝绸之路的重镇,而且
土壤是植物生长所必需的,不管是作物还是其他的植物都离不开土壤,土壤环境与农产品有不可分割的联系,间接性地对人类的健康构成威胁。随着社会的发展工业、农业等都已机械化,给人类的生产生活带来了便捷。但与此同时,也给我们带来了很多的负面影响。如汽车尾气的排放、农药的滥用、污水的浇灌等给土壤环境造成污染。本研究以渝东北佛手产地土壤为研究对象,通过前期大量的文献查阅,掌握佛手产地土壤-佛手体系的状况,并采集了
重金属铅(Pb)是一种无阈值且拥有神经毒性的金属,一旦进入水体中,很少以游离态存在,常与其他物质结合在一起。铅污染已成为全球性的环境问题。铁氢氧化物在自然界中广泛存在,颗粒尺寸较小,比表面积较大,表面具有反应活性强的位点,通常易与腐植酸形成复合体,可有效的固定重金属离子。本文通过共沉淀法制备水铁矿-腐植酸(Fh-HA)和针铁矿-腐植酸(Ge-HA)有机无机复合物,探究了溶液p H、离子强度、共存阳
近年来,随着人们环保意识的不断增强,空气污染的问题受到了越来越多的关注。本文从空气质量预测的研究背景入手,针对空气质量预测模型结构单一、预测精度低的难题,提出基于深度学习的空气质量预测模型和空气污染物浓度预测模型,并实现了预测仿真软件。本文主要开展了如下研究工作:(1)根据近五年青海省西宁市空气质量数据集,以PM2.5、PM10、SO2、NO2、O3、CO六种大气污染物每小时浓度值及其24小时滑动
青藏高原被称为“亚洲水塔”,是中纬度拥有冰川量最多的地区。由于特殊的地理位置,其强大的动力和热力作用对亚洲天气和气候具有重要的调节作用。近年来,大量观测指出青藏高原受到了外源污染物的影响,一些污染物浓度呈现出增加的趋势,以黑碳和沙尘气溶胶较为明显。由于对太阳光具有强烈的吸收性,传输到高原的吸收性气溶胶会改变高原大气热力结构,加速积雪消融,因此也是高原显著增温的原因之一。因此,厘清青藏高原吸收性气溶
如何合理判别桥梁结构损伤位置和损伤程度已成为结构损伤识别领域需要解决的关键问题之一。本文基于加速度响应数据,将机器学习与损伤指标法相结合(如:Wold分解法、加权随机森林模型、动态线性模型以及随机森林动态耦合线性组合模型),构建损伤敏感因子,对结构损伤进行了识别评估,具体研究内容如下:(1)利用结构加速度响应建立加权随机森林模型(Weighted Random Forest,WRF),实现不同损伤
随着海事业的蓬勃发展,海洋运输在世界物流体系中占据了重要的地位,贸易量的大幅增长造成了在重点水域和航道上船舶的密度越来越大,有效地监督和管理在航船舶,避免海上交通事故的发生势在必行。轨迹预测作为船舶异常检测、碰撞规避等其他研究方向的基础,准确且高效地预测出船舶未来的轨迹对降低海上事故发生率、提高监管部门的管理水准具有重要意义。本文针对航迹预测这一热点问题,从海量AIS原始数据出发,构建数据处理模型
近几十年来,中国不断加大基础建设的力度,道路网络体系快速扩展。为了实现国民经济和社会发展的科学决策,迫切需要及时获取路网分布状况的信息。使用超高分辨率图像提取城市,郊区和乡村道路具有重要的应用价值。然而,高分辨率影像中提取道路通常涉及两个难点。首先是保持道路路面的完整性和边线的平直度。道路两侧的大型树冠、高大建筑物具有阴影效应,常常遮蔽道路路面,造成路面提取上的困难。其次是保持区域内道路网络的连通