增强装配作业虚实融合及状态检测技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:bafjeght
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
增强现实技术能够将复杂的装配工艺信息转换为3D数字空间的可视化信息进行呈现,引导操作人员进行装配作业,能够有效降低操作人员的记忆负担、提高装配效率。随着增强现实辅助装配作业的装配场景和装配对象的复杂性提高,增强现实辅助装配时信息的组织和管理难度加大,虚实融合过程中出现注册和遮挡算法适应性下降,可视化引导的有效性降低等问题。为此,本文针对增强现实辅助装配过程中涉及的复杂多源异构信息的组织管理、可视化内容的虚实注册和虚实遮挡,以及装配结果的检测反馈进行研究。针对增强装配作业中多源异构复杂信息缺乏有效组织和管理,导致数据获取及共享困难的问题,本文从增强现实辅助装配作业的信息需求出发,对增强现实应用于辅助装配作业各阶段涉及的多源异构数据进行分析,提出了表达装配工艺信息的可视化元素的形式。构建了增强现实辅助装配作业领域本体,利用领域本体对各阶段的多源异构数据进行实例抽取。采用知识图谱技术对抽取的实例进行组织和管理,建立了增强装配知识图谱作为增强现实辅助装配作业系统的数据支撑。针对增强装配作业引导过程中基于自然特征的无标识注册方法存在时效性差、精确度低的问题,本文采用基于全卷积神经网络的方法进行面向装配场景的增强现实虚实注册。提出了装配场景视频与虚拟模型合成自动生成神经网络训练数据集图片和标注的方法,设计了浅层轻量化的全卷积神经网络模型,采用亚像素级精度的关键点图像坐标作为神经网络的输出。利用关键点的图像坐标和空间坐标,采用透视投影原理求解相机的实时位姿信息,实现了面向装配场景的增强现实无标识注册。针对单目图像作为视觉信息输入时、无法获取装配场景深度进行虚实遮挡处理的问题,提出了基于稀疏深度扩展的单目图像增强现实虚实遮挡渲染方法,本文分析了运动相机的单目图像稀疏深度重建方法,构建了装配场景的稀疏深度图。提出了基于单目图像灰度信息的稀疏深度图像稠密化扩展方法,计算装配场景稠密深度图。将稠密深度图与装配对象三维模型的深度信息进行融合,得到了真实装配场景的深度图。利用真实场景与虚拟场景的深度图像中对应像素点的深度关系,对增强现实虚实融合时遮挡问题进行判断,实现了可视化内容的虚实遮挡渲染。针对增强装配作业过程中零件漏装错装依赖人工检测、无法进行实时反馈和质量追溯的问题,本文采用基于图像特征匹配的漏装、错装集成检测方法进行装配结果检测。构建了适应装配对象检测的卷积神经网络模型,通过多尺度网络分支对装配场景图像中的漏装问题进行判断。提出了基于装配对象局部几何特征的直线描述和匹配算法,结合神经网络得到的装配对象位置信息进行装配场景图像中的错装问题判断。通过漏装、错装检测反馈,降低了增强现实引导装配作业时出现装配质量问题的风险。综合以上研究成果,构建了增强现实辅助装配作业引导系统。实现了知识图谱、虚实注册、虚实遮挡和装配检测等功能模块的集成,进行了系统在典型产品增强现实辅助装配作业的引导实验,实现了装配工艺的可视化呈现。对系统的精度和时效性进行分析,验证了系统的有效性。
其他文献
人类对热输运现象的认识历史悠久,最早可以追溯到对火的认识和利用。热量的输运方式可以分为传导、对流和辐射等。对材料热传导性质的最直观认识就是傅里叶定律。它告诉我们,热流密度的大小与施加在材料上的温度梯度成正比,但方向与温度梯度的方向相反。热流密度与温度梯度间的比例系数由材料的本征性质热导率来决定。但是,近年来对微纳尺度材料体系热输运现象的研究发现,当维度或相关尺寸降低时,过去对传统块状材料的认识就不
学位
柔性电子凭借其优异的本体柔韧性、延展性和生物相容性,发展出适配曲面和植物电子的新型应用。镓基液态金属在常温下呈液态,具有流动性好、易变形、导电性极强、安全无毒等特性,在柔性电子应用中展现出独特优势。当前柔性电子发展呈现出柔性化、动态化、曲面异形化、无线化和有机集成等趋势,而现有的液态金属印刷工艺在这些方面依然存在很多空缺,亟需增强液态金属在此类场景下的图案化和集成应用以突破其实际应用瓶颈。针对上述
学位
高超声速飞行器是新世纪航空航天领域国防科技的制高点,高超声速流场测量是高超声速飞行器地面试验的基础和关键。由于空气具有可压缩性,高超声速流场具有激波、膨胀波、回流区等复杂空气动力学结构,其精确测量极具挑战。粒子图像测速(Particle Image Velocimetry,PIV)是目前高超声速流场测量中具有重大应用前景的测量技术之一。现有的PIV测量技术在粒子成像和图像处理算法两方面仍无法满足高
学位
飞秒激光诱导石英玻璃损伤广泛用于飞秒激光微加工领域,如光波导、光存储、光流体芯片等光学器件的加工。因此,深入理解与准确掌握飞秒激光诱导石英玻璃损伤特性与损伤动态演变过程对于促进飞秒激光微加工领域发展具有十分重要的意义。由于飞秒激光诱导石英玻璃损伤通常具有尺寸小、过程快、对加载条件依赖性强等特点,对损伤特性与损伤动态过程的测量极具挑战。鉴于此,本学位论文围绕飞秒激光诱导石英玻璃损伤特性与动态演变过程
学位
激子极化激元是半导体中的激子与被禁锢在微腔中的光子通过强耦合效应而形成的准粒子,其蕴含着丰富的物理,如室温玻色-爱因斯坦凝聚、超流、量子化漩涡、孤子等,是宏观量子现象研究的理想平台。激子极化激元所展现出的各种新奇物性源自于其内在的半光半物质特性。由于具有激子成分,激子极化激元之间以及激子极化激元与其它载流子之间均可通过库仑场产生相互作用。理论和实验研究表明,这种相互作用对激子极化激元的基础物性有着
学位
近年来随着大功率激光技术的不断发展,激光熔覆已被广泛应用于燃气涡轮、航空发动机、核设施的再制造以及高温、高压、高腐蚀、高磨损等极端工况部件的表面处理中。然而,传统熔覆层由于熔覆材料单一,很难满足极端工况的多样化应用需求。基于此,本文为制备高质量、高性能的Inconel 625熔覆层,采用激光送丝熔覆工艺,开展了如下研究:首先,设计并搭建不同光斑状态的激光送丝熔覆试验平台;其次,研究不同光斑状态、不
学位
逃避危险是动物与生俱来的本能行为。调控逃避行为的神经网络主要以化学突触和电突触连接,伤害刺激信息由快速释放(毫秒级)的神经递质(如乙酰胆碱、谷氨酸等)传递,以实现逃避的稳健性和时效性。神经系统中另一类重要的神经调质(如神经肽)作用时程较慢(分钟到小时),对于神经肽调控快速本能行为(如逃避)的作用机制还知之甚少。本研究发现秀丽隐杆线虫(Caenorhabditis elegans,简称线虫)受到伤害
学位
近年来,预训练语言模型(Pre-trained Language Models,PLMs)的出现将自然语言处理(Natural Language Processing,NLP)带入了一个新的时代,“预训练+微调”成为了 NLP领域的训练新范式。借助该范式,基于Transformer结构的PLMs在各类NLP任务上取得了巨大的成功,然而这些PLMs存在模型尺寸大和响应延迟高等问题,使得很难将它们部署
学位
心律失常全球每年导致数百万人猝死,遗传因素是心律失常的主要致因之一。例如SCN5A基因的功能丧失型突变导致Brugada综合征,而其功能获得型突变导致长QT综合征,但其分子机制有待进一步研究。SCN5A基因编码的Nav1.5作为核心α-亚基,与其他多种蛋白质共同组成心脏钠通道复合体执行功能。本实验室前期通过酵母双杂交实验发现Ran-GTP结合蛋白质MOG1能结合并调控Nav1.5上膜转运及心脏钠电
学位
碳化硅陶瓷具有优秀的力学、热学以及电学性能,被广泛应用于电子封装与大功率器件的基板材料等领域。本文使用α相六方碳化硅作为主体原料,针对碳化硅陶瓷烧结性能较差、热导率与抗弯强度难以协同提升等问题,分别研究了稀土烧结助剂、氮化铝、增强相的添加以及热压烧结工艺的改进对碳化硅陶瓷微观形貌、物相组成、导热性能以及力学性能的影响,并对影响机理进行了深入分析。研究了不同稀土氧化物/氟化物对碳化硅陶瓷导热性能与抗
学位