基于计算机视觉的电子行进辅助关键技术研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:pldpl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视障人士在城市交通环境中能够沿着盲道到达路口,并且借助盲杖获得环境信息。传统盲杖能够帮助视障人士躲避障碍物,但是无法提供近处人行横道、远处人行横道信号灯等相关信息。基于计算机视觉(Computer Vision,简称CV)的电子行进辅助(Electronic Travel Aids,简称ETA)能够通过光敏传感器采集广域环境信息,并且利用计算机对数据进行处理获取人行横道、人行横道信号灯等目标的相关信息。不同于高级驾驶辅助系统(Advanced Driver Assistance System,简称ADAS)中人行横道检测和信号灯检测等任务,ETA以行人视角获取图像,人行横道和人行横道信号灯具有独特的外表特征。本文根据视障人士在城市街景中步行的情形,主要针对人行横道检测、人行横道信号灯检测两方面进行相关研究。在全面分析基于CV的目标检测理论的基础上,分别从目标特征表达、目标检测模型和目标检测加速等方面展开关键技术研究,主要研究内容及研究成果如下:1)提出了一种基于链式卷积神经网络(Convolutional Neural Network,简称CNN)模型的人行横道检测方法。通过CNN逻辑回归模型实现人行横道的分类识别,利用CNN回归模型进行人行横道的方向计算,在此基础上建立链式CNN模型。各CNN模型采用反向传播(Back Propagation,简称BP)算法训练参数,从而自适应提取自然场景下人行横道的非典型特征。为了评估基于链式CNN模型的方法检测人行横道的性能,实验中对比了不同检测方法和不同结构的CNN模型,结果表明不同的CNN模型提取层次特征的能力不同,由逻辑回归模型LRconv5和回归模型Rconv5组成的链式CNN模型具有较好的检测性能和较强的鲁棒性。2)提出了一种基于多图层特征和Ada Boost算法的人行横道信号灯检测方法。采用新型的多图层特征描述人行横道信号灯的颜色、纹理和形状等信息,通过集成方法Ada Boost算法选择有效的特征训练强分类器,利用强分类器在不同尺度的图像上滑动窗口检测人行横道信号灯。多图层特征根据RGB色彩空间、HSI色彩空间、YCr Cb色彩空间和CIELAB色彩空间中不同图层的功能在单个图层上通过求和或做差的方式提取特征。多图层特征分为多矩形特征和单矩形特征,矩形特征具有位置信息,单矩形特征用于颜色特征表达,多矩形特征用于纹理特征表达。在实验中分别采用无-红-绿三状态检测法和红-非红二状态检测法进行测试,并进行了鲁棒性分析,结果表明多图层特征能够提取人行横道信号灯的颜色特征,从而提高检测的准确性。3)提出了一种基于流水线模型的人行横道信号灯检测加速方法。通过流水线和并行处理提高基于多图层特征和Ada Boost算法的方法的检测速度,以适应人行横道信号灯随着时间快速变化的情况。通过视频输入模块采集视频,并在存储器模块中采用先进先出的读写模式缓存视频。在信号处理过程中按照顺序将缓存像素输入色彩空间转换子模块,得到转换后的YCr Cb数据,在此基础上基于多维度数据复用的原则,利用改进的平衡二叉树方法和相邻窗口的相似性原则实现积分图的列、行累加和计算。整个计算过程通过流水线模型实现,从而缩短了最长计算路径,减小了模型的计算时间。通过实验测试了信号处理模块性能和原型整体性能,结果表明多维度数据复用能够提高计算速度减少资源耗费,基于流水线模型的方法具有实时检测人行横道信号灯的能力。本文围绕基于CV的人行横道和人行横道信号灯的特征表达、检测模型和计算加速等技术展开研究,针对不同的检测需求分别提出了链式CNN模型、多图层分类器、多维度数据复用方法等以提高检测的鲁棒性、准确性和快速性,使得视障人士能够快速掌握人行横道和人行横道信号灯的关键信息,给视障人士在城市街景中独立穿越机动车道提供必要的辅助。本文的研究内容为ETA的发展发挥了积极的作用。
其他文献
目的 探讨中性粒细胞与淋巴细胞比值(NLR)预测糖尿病肾病(DN)的效能,探索以NLR为基础的简便有效的中老年2型糖尿病患者的DN临床预测模型。方法 选取2015年7~12月收治的中老年2型糖尿病患者144例进行回顾性分析,收集患者的临床资料和实验室指标。通过logistic回归分析筛选变量,Fisher判别法构建判别模型,采用受试者工作特征曲线进行模型间比较。结果 多因素回归分析中,NLR、糖尿
期刊
由于酶应用的普遍性,在过去几十年里,制造高活性、稳定、廉价的人造酶一直是仿生化学最激动人心的前沿课题。最近,一些纳米材料(如Fe3O4、金/铂/氧化石墨烯纳米颗粒)被发现具有意想不到的类似于酶的活性,被称为纳米酶。纳米酶被认为是新一代的人工酶,正在生物传感、医学诊断和治疗和污染物去除等方面得到迅速应用。稀土离子独特的发光性能(大的Stokes位移、长的发光寿命、锐利的发射峰等)使得稀土发光探针能通
学位
电力是现代社会发展的命脉,是经济发展、人民生活和社会稳定的基本保障。电能具有不易存储的特点,要保证电网的稳定运行,必须使电网发电侧和负荷侧保持实时功率平衡,这就需要精确预测未来电量需求,为制定发电计划提供数据支持。然而,随着清洁能源大量接入电网,以及电动汽车数量的逐年增加,电网的复杂性和不确定性程度日益加深,对传统电力负荷预测模型提出了挑战。因此,提高电力负荷预测精度,可以减少不必要的发电,提高能
学位
近年来,随着全球风电行业的发展,各国陆上和海上风电场的建设规模不断扩大。风电场中风机优化布局作为风电场建设项目的前期工程,对风电场发电能力及经济效益起着决定性作用。在风电场建模中,风机的尾流模型对于风电场输出功率的估算至关重要。因此,本课题围绕风电场规划若干关键问题展开研究,着重对风电场中的尾流模型进行精细化建模,基于MATLAB软件进行仿真分析,主要研究内容如下:1)将一种相较于一维尾流模型更接
学位
虽然我国家事审判改革取得了提高司法效率、降低司法成本、维护家庭关系与社会关系稳定的长足进步,但是我国家事审判长期以来一直适用普通民事案件诉讼程序进行审理。尤其是证据适用规则方面,家事审判没有自身独立的证据规则。而我国家事审判程序正在从普通民事程序中分离,因其具有身份关系与财产关系交织的特性,所以相较于单纯处理财产关系的大多数普通民事案件而言,当事人并不是对所有权利都拥有自由处分的基础。如此一来,如
学位
摩尔定律预测半导体器件的性能会在每18个月提升一倍,在过去的几十年里,半导体工业的发展一直遵守摩尔定律,但随着芯片集成度的进一步提高,芯片发热问题已成为制约半导体集成度进一步提高的主要障碍。电子器件温度过高将会引起其读数错误甚至是故障,另外也会导致电子器件中的连接金属因为温升产生过高的电阻,最终降低半导体器件的开关频率与电路的响应时间。因此,微纳结构及其界面上的能量输运问题,不仅成为科学领域的前沿
学位
针对无线电近炸引信性能考核验证中常用的高塔滑弹法或模拟弹飞行试验法存在性能考核验证弹目目标单一,受试产品易受损或一次性消耗等问题,提出了一种基于无人机挂飞装置的无线电近炸引信无损性能考核验证方法,通过在地面接收解析遥测数据,能够获取每一发受试产品在不同弹目目标下的近炸探测性能及炸高控制能力,实现对受试产品在无损情况下性能考核验证全覆盖,保证了产品批次性能及工作可靠性。
期刊
无论是人类还是动物界,都面临着病原微生物的威胁,其中主要以细菌和病毒的危害性较大。及时准确的检测对于科学防控病原传播具有极其重要的意义。作为目前实验室最常用的核酸检测技术,聚合酶链式反应(polymerase chain reaction,PCR)已广泛应用于病原微生物的检测。然而,PCR方法要么依赖存在染料使用安全风险的琼脂糖凝胶电泳,要么需使用成本较高的荧光定量设备及配套试剂,且不适于现场即时
学位
第一部分人血浆乳酸水平与冠状动脉钙化相关研究目的:研究人血浆乳酸水平与冠状动脉钙化积分(Agatston评分)的相关性。方法:共纳入300例2018年11月至2020年5月期间在东南大学附属中大医院或江苏大学附属医院就诊的患有心绞痛或可疑冠心病的患者。经排除标准排除后,最终纳入274例患者。通过冠状动脉断层扫描计算Agatston评分。采集入选患者空腹外周血,通过ELISA法检测血浆乳酸、CML及
学位
研究背景:恶性肿瘤严重威胁着人类的健康,从微观层面的肿瘤细胞转移到宏观水平的肿瘤组织硬化,力学因素广泛地存在于肿瘤发生发展的各个阶段、尺度。研究肿瘤细胞力学可以为肿瘤的临床诊疗提供新的思路,具有重要的科学价值。乳腺癌作为全球女性健康的头号“杀手”,其发生发展过程中的力学微环境也在不断地改变。但受到现有力学检测方法的限制,很少有研究关注到这一过程中乳腺癌细胞或组织的力学变化,从而忽略了这一潜在的治疗
学位