论文部分内容阅读
无人机技术的飞速发展,使得各行各业对于无人机的自主飞行技术提出了更多的要求,未来无人机的飞行智能化水平也将逐步得到提高。在一些特定的领域,例如洋流勘测、考古探测、地质斟探等,无人机总能在关键时刻起到人类所无法替代的作用。计算机视觉技术不断发展,近些年的深度学习在计算机视觉方面更是发展迅猛,同时伴随硬件的推出,使得在边缘端处理密集型数据计算任务成为趋势。因此在无人机上搭载嵌入式GPU平台TX2,使用计算机视觉的技术,利用深度学习的方法进行目标检测的识别和视觉定位,开发出一种无人机目标检测及视觉定位的系统,其不仅有实际的工程价值,更具有重要的社会意义。本文旨在设计和实现一个基于ROS无人机的目标检测及视觉定位的通用系统,其通过利用大疆的行业应用机M210配备机载相机Zenmuse X5S,搭载英伟达的嵌入式GPU平台TX2核心板套件作为硬件平台,TX2上装配英伟达专属JetPack4.1包,并搭建ROS机器人操作系统的工作空间。以ROS为基础的工作空间上,开发实现的无人机场景应用的所需功能。本文的主要工作包括以下几个方面:首先基于TX2平台搭建ROS环境工作空间,将DJI Onboard SDK在ROS下应用,后续的工作也都将在ROS工作空间下实现,也方便兼容未来功能的拓展。接着对于无人机场景下的微小目标物体的实时检测,选用YOLOv3网络模型,该网络模型针对微小物体做了相应的改进和优化,其速度和准确度在目标检测中都为较优。并选用Darknet深度学习框架,网络的设计、实现、训练和预测均在该框架下,实现了端到端的训练预测,保证了其准确性和可靠性。然后是利用视觉对无人机本身的空间位置定位,利用最新的Apriltag视觉基准库,标签族选择TAG36H11,针对无人机场景使用三层嵌套模式,实现无人机的不同高度的精准空间定位,有了准确的位置,以后的无人机将可以完全实现自主起飞、巡航和降落的自动化作业,更保证了无人机可监控性和自身安全性。最后需要将目标检测和视觉定位的结果信息实时发送到移动端,便于实时的监测和数据云上传。信息回传,根据自定义的通信协议,该协议符合MAVLink2标准,将结果信息数据进行封装,利用DJI Onboard SDK接口发送给移动端,移动端解析使用。本文系统都在本地通用电脑上开发和仿真实验,最终移植到TX2上使用。