面向移动终端的目标检测系统的设计与实现

来源 :内蒙古大学 | 被引量 : 0次 | 上传用户:wangcong1001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,深度学习技术发展迅速,基于深度学习的目标检测技术已经落地应用在人脸识别、工业产品检测及安防系统等实际场景中。与此同时,企业对于移动端应用的需求也相应增加,这使得如何基于移动端进行深度学习目标检测受到了重视,研究人员也对此进行了大量研究。现阶段,在移动设备上进行深度学习有两种方式:一种是在线(online)的方式,另一种是离线(offline)的方式。在线方式依赖网络,具有很大局限性,因此,离线方式被更多应用于实际落地产品中。然而,移动设备的计算能力有限,模型需要通过专有平台进行部署,并且部分模型需要进行轻量化改进。在现有研究中,针对模型的轻量化改进主要有两种方式,一种是使用模型剪枝、知识蒸馏等模型压缩方法将训练好的模型进行压缩,另一种是直接设计一个轻量化的网络结构。本文根据这两种方式分别选择YOLOv3和PP-Pico Det模型进行实验,并对两种模型的网络结构进行改进,同时在训练中使用数据增强策略、学习率热身方式以及加载预训练模型权重的方法来提高实验效果。然后设定评判标准,将实验得到的模型转换为指定格式部署在移动设备上进行推理,根据评判标准选择综合性能最好的模型。最后基于此模型,开发一款目标检测系统。本文主要工作内容与结论如下:1.针对公开数据集道路狭窄和夜晚黑暗的场景较少、部分场景中检测目标较少、像素较低的检测目标被忽略以及缺乏送外卖和快递人员的骑手数据集的问题,本文选择部分公开数据集并对其中像素较低的检测目标进行补充标注,在此基础上又加入了狭窄道路和夜晚黑暗场景的数据以及送外卖和快递人员的骑手数据,构建了一套场景更丰富、检测目标更多的数据集,用于后续模型的训练、测试和验证。2.针对离线模式中移动设备算力有限的情况,本文使用了国产平台分别对模型轻量化处理的两种方式进行了实验:选择经典的YOLOv3算法模型,使用修改骨干网络的方法进行改进,并使用多种数据增强策略、学习率热身以及加载预训练模型权重的方式进行训练,然后使用模型剪枝方法进行压缩;另外,选择轻量级的PP-Pico Det算法模型,同样使用修改骨干网络的方法进行改进,并使用少量数据增强策略、学习率热身以及加载预训练模型权重的方式进行训练。最终,通过实验,验证了两种处理方式的有效性。3.针对现有研究中缺乏对性能较低的智能手机的推理性能测试的问题,本文联系现实生活,选择了价格低廉且性能较低的智能手机作为部署平台,将上述训练好的模型转换为指定格式后进行部署与推理实验,最终得到了较好的效果,处理后的模型在性能较低的平台上可以满足精度高、速度快和体积小的需求。4.为了验证模型的可靠性,本文开发了一套基于移动端App和后台Web应用的目标检测系统。该系统的移动端App使用离线模式,应用实验得到的模型进行实时检测,并将检测结果发送到后台,后台系统对检测结果进行管理与展示。最终,实验所得综合性能最好的模型大小仅为3.7M,并且能够在性能较低的智能手机红米9上达到近30FPS的实时推理速度,同时平均检测精度均值m AP能保持在0.7左右,这为移动端使用深度学习模型提供了很好的参考。本文最终开发的目标检测系统功能完善,达到了预期效果,可以将其应用在视觉障碍人员出行时对障碍物进行提示或者司机驾驶车辆时对前方汽车、行人和骑手预警的场景中。
其他文献
车联网与移动边缘计算相结合扩展了车辆智能终端的计算和存储能力,可为车辆用户提供更多种类的应用。但车辆高速移动性与边缘计算网络就近服务特性的矛盾造成服务延迟甚至中断等问题,需要根据车辆位置进行服务迁移,才能保证边缘计算网络持续为用户提供服务。本文面向车联网场景中车辆应用的卸载需求,充分考虑车辆移动特性,结合路网模型从时延和成本两个角度综合考虑制定车辆终端卸载任务的服务迁移策略,将服务迁移问题转化为以
学位
数字化时代,数据已然成为企业的重要资产。企业需要采用数据备份、数据加密与数据分类等措施防止数据丢失或损坏,同时确保数据安全。然而,传统的数据容灾备份技术存在数据易丢失、数据易篡改、数据完整性无法保证与第三方不可信等问题。区块链技术具备数据不可篡改、数据可追溯以及多方维护等特点,可以有效地解决数据容灾备份中数据易丢失和数据易篡改等问题。因此,本文设计并实现了一种基于区块链智能合约的数据库容灾备份恢复
学位
高中阶段的数学学科知识的广度与深度都有明显提升,其中数学命题教学是基础性的教学内容,这一内容模块对学生的数学综合素养提升有明显帮助.深度学习对数学命题教学的高效开展有促进和引导价值,在教学中,教师以深度学习理论为视角,可以优化数学命题教学的设计与组织实施,培养学生的高阶思维.笔者通过分析数学命题学习实践现状、数学高阶思维培养与高中数学命题学习的融合可行性,提出深度学习与数学命题学习相融合的实践路径
期刊
以2020—2022年高考数学新高考卷Ⅰ为研究样本,基于SOLO分类理论,分析实施新高考以来高考数学命题趋势:(1)新高考更加关注对高阶思维的考查,落实创新性的考查要求;(2)新高考更加关注对同一主题下多个知识点的综合考查;(3)新高考对“函数”主题的考查容量越来越大、思维水平层次越来越高;(4)新高考对“概率”主题的考查思维水平层次逐年增加。文末基于研究结果给出了教学建议。
期刊
随着深度学习技术在自然语言处理领域的发展,以BERT模型为代表的新型语言模型得到广泛应用。然而有研究表明即使是高性能的语言模型也容易受到对抗攻击的影响。文本对抗攻击通过细微修改原样本语句中的字符或单词等内容生成对抗样本,从而造成语言模型对语句的情感判断出现错误,对语言处理系统的安全性造成威胁。当前,针对BERT模型的文本对抗攻击研究逐渐增多,但针对该类攻击的防御工作研究相对较少。对抗样本在对不同参
学位
随着大数据时代的到来,数据持有者为避免隐私数据泄露,选择在自己手中保存数据,因此形成“数据孤岛”。联邦学习正是在这个背景下提出和发展起来的,但联邦学习训练过程中存在隐私泄露风险。所以,如何在增强隐私保护能力与提高数据利用率之间维持平衡,是目前联邦学习亟待解决的问题。本文主要研究在联邦学习框架下的隐私保护问题。通过对目前已有的联邦学习隐私保护方案的了解以及深入学习,分析总结当前联邦学习面临的隐私保护
学位
视觉问答是一个具有挑战性的多模态任务,它桥接了计算机视觉和自然语言处理两个不同的领域。具体来说,给定一张图片和一个与图片相关的问题,视觉问答模型会从二者中寻找有效信息,从而给出正确答案。由于图像和文本属于不同的模态,存在严重的语义鸿沟,因此如何高效的对齐不同模态间的信息、减少二者的语义鸿沟,是目前视觉问答领域重点关注的问题。本文针对当前视觉问答方法在多模态对齐阶段存在缺少局部空间信息和过度依赖语言
学位
安全管理关系到人民的生命和财产安全,是经济发展中不可逾越的一道红线。近年全国各地安全形势愈发严峻,石油化工行业的工程项目建设也事故多发,引起各方面高度重视。本文通过对工程建设项目安全管理的现状分析、总结,提出了项目安全管理提升的有效措施,对促进企业安全生产有着重要意义。
期刊
近年来混合现实(Mixed Reality,MR)技术在基础硬件与应用上均取得了较大的进展。在混合现实原有传感器设备下进行手臂运动合成时,混合现实设备因为只能采集到低维的人体手部的运动信息,所以大部分混合现实应用中只显示了手部的运动,而没有手肘、肩膀关节的运动表示,对于强调沉浸式和真实性的混合现实技术来说是明显不够的。目前生成混合现实设备下高质量的手臂运动,多数方案采用增加额外的传感器,从而获得更
学位
近年来,随着我国经济的飞速发展,城市公共交通同时也发展迅速。拉萨市位于西藏中南部,面积2.95万平方公里,平均海拔3658米,年日照时间3000小时以上,素有“日光城”的美誉。同时拉萨市也是旅游胜地,每年有大量的游客慕名而来,极大地带动了拉萨市的经济发展,但同时拉萨市的交通压力也随之增大。拉萨在发展公共交通时高度重视绿色出行和环境保护。为了更好地解决城市交通,促进城市发展,本文将从拉萨市公交站点出
期刊