基于嵌入式平台的智能视线跟踪系统的研究和实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:meirumen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
眼睛作为人体感知世界的重要器官,在科学研究中一直很受重视,而视线跟踪技术是该领域研究的重要组成部分之一。随着计算机技术与人工智能的发展,视线跟踪技术在近几年取得了很大突破,相关产品也开始由实验室场景进入了消费级市场,逐渐成为很多领域无法替代的重要技术。然而这项技术仍面临着很多挑战,跟踪精度与实时性、鲁棒性差难以适应各种环境变化、设备配置复杂使用繁琐、不支持跨平台运行等。本文调研了视线跟踪领域近些年取得的成果与面临的挑战,提出了一种基于嵌入式平台的可实时进行视线跟踪的智能系统。本智能视线跟踪系统采用非侵入式的方法,系统可大致分为硬件和软件两个部分。硬件部分的核心是眼图采集设备,整个设备被集成在一块PCB电路板上,小巧简洁、集成度高。眼图采集设备上主要包括红外相机与红外光源、FPGA运算控制单元与传输控制单元,可实现对眼部红外图像的采集并通过USB进行传输。软件部分主要分为算法部分与UI界面部分,其中算法部分主要完成瞳孔定位、注视特征提取、视线方向估计、视线落点校正等视线跟踪算法,界面部分则负责一些常用的人机交互与显示功能。整个软件部分使用Qt creator进行开发,可在windows系统与Linux系统上跨平台运行。其中瞳孔定位算法使用了一种轻量化的卷积神经网络进行瞳孔位置检测,可以在保证实时性的前提下,有效提高瞳孔定位的准确度。为了在嵌入式平台上实现该功能提出了两种方法,一种是使用TX2等智能化程度较高的嵌入式平台,该平台支持Linux嵌入式操作系统与对卷积神经网络的优化运算;另一种是将卷积神经网络拆分成模块并将其在传统嵌入式芯片上进行实现,如DSP数字信号处理器。在进行视线跟踪前需要进行相机参数确定与落点误差校正参数确定,它们将分别在视线方向估计与视线落点校正时被使用。为了验证系统的性能,分别在TX2嵌入式平台与DSP C6000系列嵌入式平台上上进行了对比试验,对系统的实时性、准确性、头部运动鲁棒性、光照变化鲁棒性、配戴眼镜鲁棒性进行了测试,测试了不同人群的多组数据。测试结果表明:本系统可在嵌入式平台上进行实时的进行瞳孔定位、视线方向估计、视线落点估计等操作,视线跟踪的精度较高,鲁棒性强。
其他文献
众所周知,资金对一个企业的重要性,现阶段中国国内融资渠道相对狭窄,商业银行的资金仍是企业融资的主要来源,如何从商业银行处获得融资,与商业银行长期长久合作,是一家企业财
近年来,随着互联网的迅速发展以及移动智能终端的普及,越来越多的人开始习惯通过微博平台来发布和传播信息,微博文本信息呈现爆炸式增长。从海量微博文本中获取有效信息越来越受研究者们的关注,基于微博文本的关系抽取、事件跟踪、舆情分析等研究应运而生,命名实体识别作为这些研究的基础工作就显得尤为重要。因此,从数量庞大的微博文本信息中快速有效地进行命名实体识别成为自然语言处理领域一个新的研究热点。本文针对微博文
中国手机行业近二十年经历了从无到有、从有到多、从多到精的整个发展历程,手机品牌最初的摩托罗拉、爱立信、松下、诺基亚、阿尔卡特、三星等,大部分都是外国品牌。随着中国经济的发展,国内逐渐出现了自主品牌的手机制造商,如T通讯公司、联想、中兴、华为、小米、OPPO、魅族等。在这个过程中,也出现了一大批山寨手机和小手机品牌,最多的时期,中国有几十个手机制造商,而在市场的红利期,许多厂商的管理方法落后,战略方
组织间学习和企业创新绩效是当前管理界十分关注的主题。随着世界经济进一步的发展和全球化,企业更加注重创新对企业发展起到的关键作用。在多元化的社会要想实现创新需要更
携号转网政策的实施对运营商的竞争与发展带来了新的机遇和挑战,探究客户携号转网的意愿及影响因素,进而制定有效的客户管理策略,对运营商扩大市场份额、提高市场占有率具有重要的现实意义,但目前国内对客户携号转网意愿模型及实证研究相对较少。基于以上研究不足,本文以移动通信客户为例,依据TAM模型的理论思想,并充分借鉴国外学者针对移动通信客户携号转网意愿构建的相关研究模型,结合实际工作经历以及对移动客户的深度
蛋白质磷酸化可分为单磷酸化和多磷酸化。单磷酸化和多磷酸化在细胞中所发挥的生理功能不同。生物质谱技术是蛋白质磷酸化组学研究的有力工具,常采用自下而上的策略在肽段水
伴随近些年财税体制改革,佳木斯市税务局税源管理方式、手段都有了明显的改善,对税源专业化管理在税收征管工作中的意义的认识逐步提升,佳木斯市税务局关于税源专业化管理的理论研究与探索逐步发展起来,但是佳木斯市税务局税源专业化管理还没有完全适应时代发展要求,还存在很多问题,有很大的探索和操作空间。本文旨在通过研究佳木斯市税务局税源专业化管理情况,提出管理方案,使得佳木斯市税务局税源专业化管理水平有所提升。
我国隧道的数量和里程都位居世界第一,隧道安全与人民生活和社会经济发展息息相关。隧道运营过程中会出现各种影响安全的病害,现有人工检测效率低、安全风险高,难以满足大规模高速、高效、高精度隧道检测。研究一种自动化的快速、高精度隧道检测技术具有非常现实的应用价值。本文对隧道检测系统、隧道三维点云处理和隧道衬砌图像处理进行了系统研究,主要内容如下:(1)研究了多传感器集成的隧道病害快速检测方法。分析了动态条
为实现万物互联的时代发展需求,传统地面网络仅能实现全球表面30%的面积覆盖,已经无法满足需求;然而,随着航天与卫星技术的进步,卫星系统有望实现全球通信无缝覆盖。中、高轨卫星系统由于存在长时延、高误码等特征无法满足低延时等服务质量需求,而低轨卫星系统有望解决这些问题。如今,低轨卫星系统正成为全球太空“互联网”的竞争场地,受到民众与资本市场的关注日益增加,且有望上升成为重要的国家战略。为了实现广覆盖、
电子舱是导引头制导的核心部件,其产品性能影响导弹命中率的高低,对电子舱进行性能测试是组装导引头的必要环节。目前已经列装使用的基于虚拟仪器的电子舱测试系统与传统手工测试系统相比,性能上已经有了很大的提升。但在系统的简便性、测试的准确性与灵活性等方面有待进一步改进。本文从电子舱整体的测试流程和信号特性分析出发,对电子舱测试方法和系统解决方案进行了深入研究,设计了一款基于便携式计算机、简易测试箱、测试线