基于深度学习和本体技术的家庭物品语义信息获取机制

来源 :山东大学 | 被引量 : 0次 | 上传用户:yjnter
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
家庭环境下,服务机器人执行抓取、搜寻物品等各项任务都与目标物品的类别和位置、重量等语义信息密切相关,物品的语义信息是机器人完成服务任务的基础,也是提高其智能化服务水平的关键影响因素。目前机器人大多采用基于深度学习的目标检测模型获取物品的类别与位置,但是大部分的检测模型很难直接应用到家庭场景中,并且利用检测模型仅获取物品的类别和位置对于机器人认知物品的支持是不足的。此外,仅仅基于深度学习的方法很难获取物品的重量、体积等语义信息。同时,如何将获取的语义信息进行高效且统一的表征与存储也需要进一步的研究。针对上述问题,本文对家庭物品语义信息的获取问题展开深入研究。首先基于深度学习的方法获取目标物品的类别与位置、物品间位置关系和属性等语义信息,然后以此为基础,结合网络爬虫和图像特征匹配的方法从网络中获取目标物品的先验语义信息,最后基于本体技术将获取的物品语义信息进行一体化表征与存储,从而完成家庭物品语义信息的获取任务。本文的研究内容和创新之处如下:(1)针对目标检测模型获取的家庭物品语义信息精度和种类有限,提出了家庭环境下基于深度学习的物品语义信息获取方法。基于YOLOv5和注意力机制构建了家庭物品检测模型,利用家庭物品检测数据集对该模型进行训练,使其更好地适应家庭场景,提高其对家庭物品的检测精度。基于Neural Motifs实现了面向家庭物品的位置关系检测,使机器人关注目标物品与周围物品之间的位置关系。基于多标签分类任务构建了物品属性检测模型,检测物品的颜色、形状等属性。最后通过实验对三个检测模型进行测试,实验结果表明这三个模型可以很好地适应提取家庭物品语义信息的任务。(2)为了获取家庭物品的重量、体积等难以通过深度学习获得的语义信息,并且充分利用互联网中经过人类检验的物品先验语义信息,提出了基于网络爬虫和特征匹配的物品先验语义信息获取方法。基于WebDirver模块设计了网络爬虫算法,利用关键词在网上搜索商品,提取商品特征向量与目标物品进行匹配,选出与目标物品最相似的商品并自动爬取和筛选商品的有效信息作为目标物品的先验语义信息。同时,为了让提取的特征向量更好地表征家庭物品,基于残差网络构建了特征提取模型,利用自制的小型家庭物品分类数据集对该模型进行微调,最后基于孪生网络结构对微调后的模型进行优化。在自制的家庭物品测试数据集对特征提取模型进行了测试,相同物品和不同物品的特征向量的平均余弦相似度分别为0.926和0.754,并与其他模型进行了对比,实验结果表明该模型的特征表征能力优于其他模型。(3)针对物品语义信息需要高效且统一的表征与存储问题,基于本体技术构建了物品语义知识库,实现了物品语义信息的一体化表征与存储,便于机器人对物品语义信息的利用。同时构建了物品特征向量库,以特征向量作为引导,快速获取知识库中物品的语义信息。并且基于Owlready2模块实现了知识库与外界的交互,设计了语义信息存储机制和获取机制,从而可以自动地完成物品语义信息的存储与获取。最后,通过实验验证了物品语义信息获取方法和存储机制的可行性。
其他文献
本文以化工设备管理中关于机械维修的保养探讨为题进行深入的研究,先阐述了化工机械设备规范管理和定期维护的意义等,然后,又提出了几点切实可行的机械维修保养技术,主要包括完善维修保养化工机械体系、化工机械的润滑的保养技术、化工机械防腐的保养技术、建立健全的完善的管理制度,进而在化工设备管理中,通过定期保养维修机械设备,使其设备处于良好的运行状态。
期刊
遥感图像智能解译是遥感数据应用的核心环节。遥感图像目标检测旨在高效、准确地从遥感图像中获取物体的精确定位以及物体类别,在精细农作、资源勘探以及城镇规划等各个领域有着重要的应用价值,是遥感图像智能解译的重要步骤。与应用在自然场景中的通用目标检测算法相比,由于卫星等航拍器的拍摄高度以及视角的特殊性,在遥感图像中检测物体面临诸如物体具有任意朝向、不同物体尺度变化大以及图像背景复杂多样等特殊挑战。本文立足
学位
细胞的生命活动中,基因调控起着至关重要的作用。基因调控是一个动态的过程,在生物的生长发育中,基因间相互作用关系是不断变化的,进而控制基因的表达水平。基因调控网络(Gene Regulatory Network,GRN)是刻画基因之间调控关系的数学模型,通常对应于通过其产物的互作调节关系,调控网络中基因间的相互作用抽象表示这种调节规则。基因调控网络为衡量网络中的节点重要性提供了可行性框架。其中节点重
学位
近年来,国家不断出台相关政策,加大对医药体系的投入,促进医药市场快速发展,医药服务水平不断提高。在医药体系中,医药流通行业是中间环节,在“两票制”全面实施背景下,药品流通环节减少,药品价格显著下降的同时,药企议价能力减弱,利润空间压缩,应收账款规模加大,应收账款周转速度减缓,一定程度上,药企资金压力增加。加之新冠肺炎疫情等因素影响,医药流通行业筹资、投资、营运资金和现金流等财务风险凸显。瑞康医药为
学位
《诗刊》社于1980年举办首届“青春诗会”,截至2021年,“青春诗会”已举办37届,为当代新诗的发展做出了卓越贡献。本文将新世纪“青春诗会”专栏专号及相关栏目刊载诗作、《诗刊》社举办的“青春诗会”诗歌活动等作为整体研究对象,通过对新世纪“青春诗会”的栏目设置、组稿与评选方式、入选诗作、其与新世纪诗歌潮流互动等方面进行梳理与考察,观照新世纪诗歌发展的复杂流变与“青春诗会”对新世纪诗歌的影响。第一章
学位
药物是人类对抗疾病最有效的方法之一,然而药物研发是一项十分耗费人力物力的综合工程,具有周期长、投入多、失败率高的特点。据统计,一款小分子药物的上市平均耗资18亿美元,耗时12年。药物-靶标相互作用的识别是研发出高特异性、低毒性药物的关键,但受限于人力物力,传统的生物活性实验难以实现大规模的高通量筛选。随着信息技术的发展,利用计算机辅助预测药物-靶标相互作用的方法得以实现且被广泛应用。计算机辅助的预
学位
物品操作为机器人完成家庭服务任务的重要步骤,其关键部分是物品抓取和功能操作。面向家庭服务任务,机器人需要精准执行有序的物品抓取动作,准备服务任务所需的物品,然后针对物品具备的功能进行操作,操作完成后服务任务结束。这个过程包含很多物品操作的关键技术。目前家庭环境的物品操作方法仍面临较多挑战,主要有抓取准确率低、序列化抓取策略缺失和倾倒服务的液面检测困难等关键问题。复杂的家庭场景和多样的家庭物品制约着
学位
二噁英(Dioxins)是典型的持久性有机污染物(POPs),有致癌、致畸和致突变风险,可以通过蚱蜢跳效应在全球范围内进行迁移转化。二噁英主要包括氧代二噁英(多氯代二苯并对二噁英PCDDs和多氯代二苯并呋喃PCDFs)以及硫代二噁英(多氯代噻蒽PCTAs和多氯代二苯并噻吩PCDTs)。PCDD/DF/TA/DTs从未有意合成,主要在高温焚烧和热解等工业过程中无意产生。其形成机理包括气相和非均相催化
学位
随着社会的快速发展,人类生活和社会生产对稳定的电力供应要求越来越高。中国的配电线路超过440万公里,已形成世界上最大的配电网络,对配网线路的巡检和维护任务繁重,采用机器人进行自主作业是必然发展趋势。在电网系统维护检修过程中,实时识别和定位绝缘子和熔断器对于配电网带电作业机器人进行运动规划具有重要意义。基于深度学习的目标检测算法具有精度高、速度快、鲁棒性强的优点,能够为机器人实时反馈目标的种类和位置
学位
山梨醇和海藻糖是蜜蜂体内重要的小分子抗寒性物质,其在蜜蜂体内的积累有助于降低蜜蜂过冷却点,提高蜜蜂的耐寒性,增强生存能力。本研究以中华蜜蜂(Apis cerana cerana,简称中蜂)和意大利蜜蜂(Apis mellifera ligustica,简称意蜂)为研究对象,探究外源(在饲料糖浆中添加)山梨醇和海藻糖对蜜蜂抗寒性能(过冷却点)的影响,并探讨其可能存在的生理生化机制。从意大利蜜蜂姊妹蜂
学位