人机自然交互场景下用户注意力计算方法研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:djxhh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能的发展,人机自然交互(Human-Robot Natural Interaction,HRNI)逐渐进入人们的视野,它标志着人机交互的研究进入到新阶段。人机自然交互是指人与机器人通过自然语言、动作、表情等不同表达方式进行信息交流的过程。注意力计算是指利用机器人对人的感知数据对人机自然交互中人的注意力集中程度量化计算。准确感知用户的交互注意力是评估用户的交互意愿,主动提供服务,自适应控制交互进程的基础。在缺乏用户注意力计算的条件下进行自然交互的过程中,容易出现自言自语等无效交互,降低机器人智能化程度。近年面世的机器人大都通过唤醒词、触摸或人脸检测等方式来开启交互,其中通过唤醒词和触摸的方式属于被动唤醒,智能化程度低;人脸检测的方式属于主动唤醒,但易误唤醒。因此注意力计算对提升机器人的智能化水平具有重要意义,是人机自然交互的重要技术之一。本文通过分析目前人机自然交互相关的研究工作,以人机自然交互中用户注意力的计算为研究对象,提出了两种人机自然交互场景下用户注意力计算方法,具体研究内容如下:1)针对人机交互中用户注意力的静态特征提取和建模问题,提出了一种多特征融合的用户静态注意力计算方法。本文使用深度相机获取用户的RGB和RGBD图像,从每帧图像中提取人脸信息、头部姿态、唇部距离、交互距离、人体方位角和人体偏向角六种不同的特征,采用随机森林模型融合这六种不同的特征建立用户注意力回归模型。为验证所提方法的有效性,本文构建了包含六种注意力特征的静态注意力评分数据集。实验结果表明该方法可以有效的计算用户的静态注意力。2)针对人机交互中用户动态特征多变条件下注意力建模不稳定的问题,本文提出了一种基于Attention-LSTM网络的用户动态注意力计算方法。本文使用深度相机获取用户的RGB和RGBD视频,对连续帧图像构建人脸信息、头部姿态、唇部距离、交互距离、人体方位角和人体偏向角六种时序特征模型,采用AttentionLSTM建立用户注意力计算模型。为验证所提方法的有效性,本文构建了包含六种注意力特征的动态注意力评分数据集。实验结果表明,相比于静态注意力计算方法,该方法在动态环境中能有效的对用户注意力进行持续性分析。3)基于本文提出的两种注意力计算方法,通过Py Qt5应用框架构建了注意力计算系统,并详细介绍了该系统在机器人主动唤醒和交互进程控制方面的应用。
其他文献
得益于互联网及计算机技术的发展,一种新兴的金融资产(数字货币)——比特币应运而生。自从2009年1月3日比特币的创世区块诞生以来,比特币的价格和总体市值在这诞生的10年中历经波动却水涨船高,特别是在2017年出现了比特币价格快速上涨的“大牛市”,比特币开始成为人们津津乐道的话题。随着比特币作为金融资产的属性日趋加强,其价格的变动将越来越多地表现出对金融市场其他资产价格和风险的溢出效应,因而研究探讨
我国经济不断发展,优秀人才需求日益严峻,薪酬制度体系不足以留住企业核心人才。股权激励是激发管理层骨干以及技术人才以充沛热情和创新力积极投入工作,努力达成业绩目标的有效工具。研究股权激励方案设计与其实现的实施效果,可以更有效地帮助企业吸引海内外精英,稳定内部技术骨干人才,捆绑员工与股东之间的利益链条,加强员工忠诚度,实现公司战略扩张,提高核心竞争力。本文选取临床医疗服务行业内上市时间最久、营收规模领
直接乙醇燃料电池有望成为解决化石能源危机,缓解环境恶化趋势的候选者。阳极催化剂作为电池中的核心部分,一直都是广大研究工作者的主要研究开发对象。此外乙醇阳极电催化氧化反应历程复杂,期间产生大量的中间体产物会毒化催化剂活性位点,造成催化活性的下降。基于此背景,本论文首先制备单金属Pd催化剂并研究其对于碱性介质中以及碱性乙醇溶液中的吸附与催化行为,再分别制备二元Pd-Sn/C、Pd-Co/C催化剂和三元
在人工智能领域中,多模态任务通常要比单模态任务更加的复杂。因此,在许多多模态任务上,目前的模型还难以达到被广泛应用的标准。基于文本的图像生成任务是一个典型的多模态任务,要求模型根据文本信息生成合理的图片。最近,因其挑战性,以及潜在的应用性,受到了国内外科研界的密切关注。当前,由于生成式对抗网络显著的提高了图像生成模型的效果,大量的以生成式对抗网络为基础的基于文本的图像生成模型被提出。目前主流的文本
随着金融科技的迅猛发展,金融行业正在经历变革,行业内竞争逐渐加剧,各个企业对金融科技投入增加,P2P网贷、第三方支付等平台的快速发展与肆意扩张,我国商业银行面临着越来越大的生存压力与竞争压力,银行遭受金融科技企业的巨大冲击,金融科技企业不断蚕食银行的传统金融业务,使得存贷利差不断收窄,盈利能力持续下降;与此同时,金融科技也给银行带来了正面影响,商业银行积极引入金融科技,进行业务、产品、服务的创新,
中国建筑的飞速发展,对拥有自身现代建筑语言的需求日益增大。而建筑形式一直都有着巨大的研究价值,国内外都有着大量的研究成果,并且研究中国建筑自身的形式特征能有效的满足当代中国建筑的语汇需求。在众多建筑形式理论研究者中埃森曼有十分完备的形式理论系统、大量理论著作和实践作品,且理论与实践的结合度高。其理论与实践对现在的建筑形式发展具有很大的参考价值对中国建筑形式研究也起到了借鉴作用。目前学界对埃森曼网格
我国财政部于2018年12月7日修订发布了《企业会计准则第21号——租赁》,租赁会计准则修订的内容主要包括:(1)完善租赁的识别、分拆及合并等相关原则;(2)承租人会计处理由双重模型修改为单一模型;(3)改进出租人的租赁分类原则及相关会计处理;(4)调整售后租回交易会计处理并与收入准则衔接;(5)完善与租赁有关的列示和信息披露要求。飞机租赁是航空公司引进飞机的重要途径,租赁会计准则的修订势必会引起
2018年中国汽车产销量已连续十年蝉联全球第一,汽车产业已是中国的支柱性产业之一。汽车金融伴随着汽车产业的发展,已成为全球范围内仅次于房地产金融的第二大个人金融服务。我国的汽车金融产业起步较晚,截至2017年年末,我国零售汽车金融的新车渗透率接近40%,但与发达国家超70%的渗透率相比仍有差距。GZ公司是中国排名前十的汽车制造商GL汽车控股有限公司的控股子公司,是持有中国银行保险监督管理委员会颁发
近年来随着我国经济科技的发展壮大,交通需求也同样呈几何倍数增加。大量中小型汽车保有量带来的道路交通拥堵和交通事故频发问题,不仅对公共交通的安全造成巨大挑战,还对我国蓬勃可持续发展的经济体产生相当程度的负面影响。统计数据显示,我国的汽车保有量仅为全球保有量的5%左右,但是每年在我国发生的交通事故却远远超过这个比率。我国每年因为交通事故而导致死亡的儿童数量都会破万,事故中儿童行人的死亡率更是欧美国家的
辣椒炭疽病菌是制约辣椒生产的重要真菌,主要侵染辣椒果实和茎叶,影响辣椒的品质和产量。辣椒炭疽病菌种类较多、种群遗传多样性复杂,田间复合侵染频发,抗性品种抗性丧失,导致辣椒炭疽病的防控相对困难。为此,深入解析炭疽病菌与辣椒的互作与识别机制,针对性挖掘靶向性抗性资源,成为辣椒炭疽病有效防控研究热点。前人研究证实保守的真菌效应蛋白Nis1(Necrosis-inducing secreted prote