基于多模态融合的人机协同模型与算法研究

来源 :济南大学 | 被引量 : 0次 | 上传用户:gengfu123456789
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
中国已经成为养老问题大国,老龄人口数呈现逐步增长趋势,带来了巨大的养老问题。由于老年人年龄增大,导致记忆力衰退、身体灵活性下降、易敏感孤独,对老年人的外部监护提出了更高的要求。将智能机器人应用于助老陪护,可以帮助老年人完成日常生活需求,辅助干预老年人心理问题。但是从目前的智能机器人研究成果来看,复杂的交互流程使得老年人望而却步。在助老陪护机器人方面仍面临很多挑战,例如部分研究中单一模态的交互方式获取的信息有限,限制了交互的灵活性,直接影响到老年人的使用体验。同时,用户多样性和交互场景多样性对人机交互算法提出更高的要求。因此,本文在济南市自主创新团队项目——“面向老年陪护机器人的人身安全协同保护机制研究”的支持下研究并实现了助老陪护的多模态融合人机协同算法。在辅助老年人基本日常生活的背景下,以达到自然交互为中心,设计了多模态融合的人机协同模型,弥补了智能机器人交互灵活性弱、使用场景固定、交互流程复杂、用户使用不顺畅的现有缺点。本文的主要研究内容和创新点归纳如下:(1)提出并实现了一种自适应多模态融合算法。针对单模态交互方式存在误识别、不理解、交互过程复杂等问题,本文采用多模态交互方式,提高人机交互的意图识别率和交互的鲁棒性。为了综合利用多种模态信息,减轻用户的交互负担,本文首先通过语音、手势、场景对象三种模态的识别网络,将多模态信息数据转化到统一模态维度。然后,迁移使用了前馈神经网络的基本结构,提出了一种自适应多模态融合算法。结果表明,该算法的用户意图理解效果在整体召回率达到81.52%的前提下准确率可以达到89.98%以上,其用户满意度评价较其他融合方法提高了17.1%。(2)提出并实现了一种复合权重强化学习的人机协同算法。为了满足老年人心理陪护需求,本文设计并实现了基于复合权重强化学习方法的智能交互游戏。首先,本文生成了大量游戏积木的仿真训练数据,通过域随机化方法训练得到可识别积木的网络模型,该模型的识别准确率可达到91%以上。然后,本文在强化学习基础上加入了实时交互,人成为参与改变环境的第二个智能体,从任务难度、决策创新度、决策价值、指令服从度四个方面参与机器人决策。最终机器人通过该算法可以对给定的任务计算出游戏完成步骤,自动配合用户完成该游戏。(3)设计并实现了基于人机协同模型与算法的助老应用实验。针对老年人行动迟缓、智力衰退、心理孤单的问题,提出了一种面向助老陪护的人机协同模型。机器人实时感知周围环境,监测老年人行为,老年人可以随时提出需求,机器人自主理解老年人意图并辅助完成任务。在此模型下,老年人与机器人达到和谐共存,能够完成日常生活功能和协同游戏,达到智能机器人陪护老年人的应用目的。实验结果表明,在Pepper仿人机器人及X-Arm七轴机械臂的平台上,此模型可以有效完成助老陪护并给老年人提供满意的服务,减轻老年人的生理和心理上的负担。
其他文献
工业是产生大数据的重要源头,工业数据的分析有助于提高信息化和工业化的融合水平,实现数据智能分析,同时工业数据的处理也面临着诸多挑战。本文进行分析的工业数据是排污设备运行过程中的主要用电数据,包含数据集结构不规律、数据密度分布不均匀以及存在噪声点的问题。根据需求要采用人工智能的分析方法,通过对这些用电数据进行分析实现设备运行状态的划分,然而这些是无标签数据,无法进行分类,因此选择将其作为一个聚类任务
学位
随着城市化的飞速发展,城市居民面临的各种社区生活风险与日俱增。作为城市居民风险意识的建构基础,居民生活风险感知的水平反映着城市社区治理的运行状况。社区社会资本是对城市居民的社区生活风险感知水平与状况具有影响的社会因素之一。深入研究社区社会资本影响城市居民的社区生活风险感知的内在机理,对促进城市社区治理创新,构建社区风险治理共同体具有重要的理论与现实意义。在综合社会资本、风险感知与社区治理等理论的基
学位
改革开放以来,人们的教育获得需要和现实支付能力之间的矛盾日益凸显,应时而出的教育储蓄方兴未艾。尽管我国家庭教育储蓄的影响因素、持有状况与可能导致的效应已受到学界的重视,但对于家庭教育储蓄影响儿童学业成绩的作用机制与群体差异,国内社会学等有关领域尚未进行经验验证与理论探讨。本研究依据2018年中国家庭追踪调查数据,运用结构方程模型分析方法,实证研究家庭教育储蓄影响儿童学业成绩的路径机制;通过多区组分
学位
近年来,加密数字货币因为其相对于传统货币的优势,流行于世界各地,这导致了挖矿行为的盛行。现阶段,无数高性能计算机正在用来挖矿,挖掘数字货币需要巨大的计算资源,这造成了计算资源的严重浪费。此外,加密货币挖矿行为巨大的能源消耗也是一个不可忽视的问题,甚至成为全球碳排放的一个重要因素。因此,研究识别与管理挖矿行为势在必行。传统识别方法应用规则库,匹配域名、IP地址等特征去识别,尽管此法简单有效,但其泛化
学位
现代社会对工业产品的质量要求越发严格,工业产品的出厂检测越发受到重视,但复杂工件的尺寸测量方式目前仍以人工接触式测量为主,测量精度低且耗时耗力。我们研发了一套多相机测量系统,即采用多台高分辨率相机搭配小视野域镜头采集复杂工件局部图像,进而利用双相机标定尺寸测量法实现微米级测量。该系统精度高、效率高、成本低、非接触,优势明显。然而,随着镜头视野域减小,景深也必然减小,复杂工件图像易受震动、制造公差等
学位
问答社区是当今互联网时代促进知识分享与交流的重要信息平台。然而,伴随用户的急剧增多,平台在短时间内积累了大量的数据,使得提问者无法在短时间内收到高质量的答案、回答者无法迅速识别出他们感兴趣的问题,严重降低了用户体验。如何挖掘用户感兴趣的问题、优化下发问题邀请的准确率,成为问答社区面临的严峻挑战。为此学术界和工业界展开专家推荐的研究,旨在发现专家用户,提高问题解答率以及回答生产数。目前存在的问答社区
学位
电子皮肤(e-skin)是一种能够模拟人体皮肤感知外界刺激的电子设备,被认为是机器人、可穿戴健康监测和人机交互应用的关键技术。虽然电子皮肤吸引了越来越多的研究者的注意,但是,大多数研究只关注单一类别的静态或动态信号的检测,这远远达不到实际应用的要求。为了将电子皮肤从理论上推向实际应用,模仿人类触觉感知功能以实现智能感知是必不可少的。到目前为止,研究人员感兴趣的研究点大多数在于器件性能方面,尤其是在
学位
随着船运行业的发展,船舶数量的增多导致船只事故发生的可能性增大。当事故发生后,搜救失事船舶的关键前提是预测船舶未来一段时间内的航迹。失事船舶的航迹预测方法分为两种:基于运动学方程预测和基于无动力学方程预测。基于运动学方程的预测方法随着外界影响因素的变化,预测模型需要不断地进行人为调整,这使得建立的模型并不具备很好的泛化能力。基于无动力学方程的预测方法通常使用神经网络模型,但这种方法缺乏可解释性,且
学位
随着监控摄像机的广泛使用以及公众安全意识的增强,行人重识别技术(Person Re-Identification,Person Re-ID)已经引起了计算机视觉和模式识别界的特别关注。行人重识别是指能够在从不同摄像机拍摄的图像或视频源中再次检索到特定目标对象的技术,它有利于帮助快速处理城市中的异常情况,例如跟踪偷车贼、通缉犯以及失踪儿童等等,在现代社会中具有重要的研究意义和应用价值。近年来,得益于
学位
大数据时代需要快速、高效且低功耗的数据存储与处理技术,与之相呼应的半导体技术行业在近年来也面临着严峻的考验。一方面,自提出以来延续发展了50多年的摩尔定律,因为晶体管的特征尺寸逐步逼近物理极限而面临着失效。另一方面,传统的冯·诺依曼计算机体系架构中存储单元和运算单元的物理分离,造成了信息传输的延迟以及大量功耗的问题。为了打破摩尔定律发展以及冯·诺依曼瓶颈的限制,研究人员积极寻求变革性的解决办法。受
学位