基于NPU的飞行机械臂实时目标检测与抓取研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:zhuzhenxing1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无人飞行器能在三维空间运动,将机器人系统应用范围扩展到广阔的空域,可代替人类进行远距离的感知探索或在危险环境中进行作业任务。飞行机械臂结合了无人飞行器的定点悬停、机动飞行和机械臂灵活操作的特性,能与环境进行有效实质的物理交互。实现精确稳定的空中抓取操作是使飞行机械臂得到更多复杂应用的基础。目前亟需将人工智能、边缘计算和特定场景的视觉伺服策略等前沿技术应用到飞行机械臂系统。因此本文将开展基于NPU的飞行机械臂的实时目标检测和抓取研究,研究内容包括面向应用设计旋翼飞行机械臂,进行建模和控制,开发目标检测与跟踪算法,在复杂空间环境中获取精确、稳定、可靠的目标状态,完成对物体的抓取操作。本文建立了旋翼无人机所搭载的六轴串联型机械臂的正、逆运动学模型,推导了微分运动学方程用于对机械臂末端执行器的线速度与角速度分量的控制。其次,为了给飞行机械臂抓取任务提供目标物的定位信息,设计了基于嵌入式NPU的实时目标检测-跟踪系统框架,实现了硬件平台设计与软件方案。为保证检测系统后续能实际部署到飞行机械臂上发挥作用,进一步明确了检测系统中的信号流向和通信机制。为充分利用NPU的神经网络加速能力,本文接着优化了YOLO系列算法构建高性能目标检测系统。为了使输出的检测框更加平滑和稳定,增加单目标跟踪模块,构建了检测—重初始化策略。最后,分析设计了飞行机械臂整体控制器,并提出多任务联合伺服分配律,减小多旋翼无人机自身和串联型机械臂相互耦合作用对伺服抓取任务的动力学影响。针对人工标记物、自然特征提取图像中的视觉特征存在的局限,利用了深度学习方法在摄像头采集的图像中检测物体边界框。为了验证所提出方法的有效性,本文搭建了仿真实验平台,在机器人操作系统和Gazebo动态模拟平台上进行了基于NPU的目标检测和飞行机械臂的空中抓取实验,并详细分析了得到的实验结果。对实验数据的分析可以证明,本文提出的基于NPU的目标检测方案可以实现对目标物的精确检测,混合视觉伺服控制方法能够实现飞行机械臂精确稳定的抓取,更符合实际的应用场景。
其他文献
随着近年来科学技术的不断发展,智能机器人从工业领域走进了人们的日常生活。由于智能机器人的应用场景日趋复杂化与非结构化,相关技术已成为世界各国试图抢占的科技高地,其中,室内服务机器人已成为国内外最活跃的机器人研究方向之一。目前的服务机器人在现实场景下存在自主性低下等问题,原因在于当前工作大多数以静态的环境作为背景假设,从而使得系统无法在动态场景下稳定、高效运行。本文目标旨在改进室内动态场景下SLAM
学位
类风湿关节炎(rheumatoid arthritis,RA)是一种慢性自身免疫性疾病,其病因尚未完全明确。据现有资料和文献显示,成纤维样滑膜细胞(fibroblast-like synoviocytes,FLS)是引起RA患者关节畸形和关节功能丧失的主要细胞之一。其过度活化可以诱导RA病人FLS(RA-FLS)的过度增殖,释放大量炎性细胞因子和趋化因子,例如在RA-FLS中,IL-6、IL-8、
学位
长期的酒精滥用可导致酒精相关性肝病(Alcohol-associated liver disease,ALD)的发生,疾病可从简单的脂肪变性,发展为酒精性脂肪肝炎,肝硬化和肝细胞癌,这已经逐渐演变成一个全球性的健康问题。酒精摄入会导致肝脏脂质代谢紊乱,此外,酒精摄入还会引起肝细胞损伤和死亡,以及肝脏炎症,加剧了肝损伤。然而,目前对ALD仍缺乏有效的治疗药物。因此,为了应对ALD的发展,我们需要更加
学位
类风湿性关节炎(Rheumatoid arthritis,RA)是一种以侵蚀性关节炎为特性的自身免疫性疾病。RA的主要病理特征是滑膜组织的慢性炎症和血管翳的形成,关节软骨和骨骼受到侵蚀,最终导致关节畸形和功能障碍。甲氨蝶呤(Methotrexate,MTX)作为二氢叶酸还原酶抑制剂,由于其抗炎、抗增殖作用好、成本低,常被用作治疗RA的首选药物。然而,RA患者中对MTX治疗无反应/耐药的发生率估计在
学位
目的:通过对比次氯酸钠溶液在清洁牙本质小管的渗透深度,来评估超声、激光动力冲洗技术在年轻感染根管、老年感染根管的冲洗效率以及分析可能影响渗透深度的因素,从而为临床化学预备感染根管提供冲洗策略。方法:收集72个根管,年老感染根管、年轻感染根管和清洁根管各24个,Pro Taper Universal系统将根管预备到40#06锥度。使用预热的17%EDTA和3%次氯酸钠作为冲洗液,各类型根管基于动力冲
学位
类风湿关节炎(RA)是一种累及全身系统的慢性自身免疫病,临床表现为小关节的局部肿胀疼痛,功能障碍等,成纤维样滑膜细胞(FLS)异常增殖、活化导致软骨和骨组织的破坏是RA的关键病理特征。在正常人的关节中,滑膜内膜中的FLS产生透明质酸和润滑素等关节润滑剂,发挥润滑和保护关节的作用,而在RA患者关节中,FLS通过生成大量基质金属蛋白酶(MMP)来破坏软骨和非骨质支撑结构,以及通过促进破骨细胞生成和抑制
学位
随着全世界光伏发电市场飞速发展,单轴跟踪式光伏支架作为应用最广泛的光伏支架类型,其安全性和耐用性也受到越来越广泛的关注。单轴跟踪式光伏支架通常安装在平坦开阔的地面上,其风致破坏除了静风荷载导致的极限承载能力破坏以外,风的动态效应引起的颤振等气动弹性失稳现象更为常见,也更难以防范。近年来,快速发展的计算流体动力学(Computational Fluid Dynamics,CFD)模拟技术,在设计阶段
学位
背景:慢性过度饮酒引起的酒精性肝病(ALD)已成为最常见的肝病类型之一。酒精性肝损伤会引起炎症免疫反应,该反应是ALD发展中的核心驱动因素。枯否细胞是驻留在肝脏的巨噬细胞,可以通过分泌细胞因子和趋化因子来影响炎症免疫反应。细胞外腺嘌呤核苷三磷酸(ATP)作为一种新发现的“危险信号”,通过作用于细胞表面的P2嘌呤受体,在包括ALD在内的慢性肝病的病理生理过程中发挥重要作用。P2X4嘌呤受体(P2X4
学位
类风湿关节炎(Rheumatoid arthritis,RA)是以中晚期滑膜增生和进行性关节破坏为特征的慢性自身免疫性疾病。活化的类风湿关节炎滑膜成纤维细胞(RASF)的增殖是滑膜增生和骨破坏的直接原因。我们之前的研究发现酸敏感离子通道1a(ASIC1a)调控RASF活化以响应细胞外酸性微环境。然而,ASIC1a在RASF增殖中的作用仍不清楚。本文在体内和体外研究了ASIC1a对RASF增殖的影响
学位
地面移动机器人因其便捷灵活的运动学特性以及相对较高的载荷与运算平台的性能,被广泛应用在城市运输、安全巡防、灾后救援等场景中。其中,一个重要的任务是令机器人自主地完成对特定建筑物的扫描与重建。该任务的顺利完成是对建筑物完整性评估的前提,在灾后救援与安全巡防场景中有重要的应用。针对上述实际问题,本文提出了一种针对户外场景下的移动机器人面向建筑物的主动重建的方案,通过对户外场景下的建筑物的边境栅格进行建
学位