【摘 要】
:
使用投影仪将虚拟场景投影到真实鱼缸的后壁,可以构建一个融合虚拟海洋世界和真实鱼缸环境的混合现实(Mixed Reality,MR)鱼缸,研究表明,其有助于吸引孤独症谱系障碍(Autistic Spectrum Disorder,ASD)儿童的注意力,ASD儿童在此系统中可以比较好的集中注意力,与海洋世界和游动的虚拟海洋生物交互,进行认知课程的学习。其中,可以通过使海洋生物模仿并跟随真实鱼类运动以增
论文部分内容阅读
使用投影仪将虚拟场景投影到真实鱼缸的后壁,可以构建一个融合虚拟海洋世界和真实鱼缸环境的混合现实(Mixed Reality,MR)鱼缸,研究表明,其有助于吸引孤独症谱系障碍(Autistic Spectrum Disorder,ASD)儿童的注意力,ASD儿童在此系统中可以比较好的集中注意力,与海洋世界和游动的虚拟海洋生物交互,进行认知课程的学习。其中,可以通过使海洋生物模仿并跟随真实鱼类运动以增强沉浸感、交互感,从而设计更多的有趣的课程内容,达到更好的虚实融合的效果。这需要实时准确地跟踪和计算真实鱼的三维游动轨迹和姿态。但是目前已有的追踪鱼类轨迹的方法大都不适用于鱼缸环境。与海洋和湖泊等水下环境相比,鱼缸中的反射和折射增加了跟踪真实鱼的难度。一些工作只保留了鱼在水箱中心体积中游动的视频序列,忽略了鱼在水箱侧壁中游动的反射情况。有的工作则在鱼缸周围粘贴了白纸,以避免反射。另外,据我们所知,目前还没有关于三维空间中鱼的方位计算的研究,尽管有少量介绍使用一个摄像机计算二维俯视图中的运动方向的工作。为此,本文提出了一种实时跟踪鱼缸中单个鱼的位置和姿态的方法:在鱼缸的顶部和侧面分别放置两个摄像机,获取鱼的视频图像;在考虑反射的情况下,计算两个视图中鱼的位置,用椭圆拟合的方法计算鱼在两视图中的旋转角度;然后结合两个视图的信息,并考虑水的折射,实时计算出鱼的位置和方位。实验结果表明,该方法具有较好的精度、鲁棒性和实时性。本文方法在基于MR鱼缸的ASD儿童学习系统中得到了应用和验证。本文的主要工作和贡献概括如下:1.提出了一种结合双正交视图信息来实时计算鱼的三维位置的方法。该方法通过在鱼缸顶部和侧面放置摄像头来实时拍摄鱼的运动。首先结合背景减法和追踪算法获得鱼在两个视图中的二维轮廓,再判断倒影情况并分情况进行处理。如果鱼身和倒影分离,根据位置关系直接筛选出真实轮廓;如果鱼身和倒影粘连,则需要对轮廓位置进行偏移修正,从而获得真实轮廓的质心位置。最后考虑水折射的影响,使用光线追踪的方法实时计算出鱼的三维位置。实验结果表明,与Muller等人提出的方法相比,本文所提的方法在速度、准确率和成功率都更高。以1000帧图像作为测试样本,本文提出方法的平均帧速率为65.78fps,准确率为85.2%(精确度设置为5像素)和成功率为84.3%(重合率设置为0.8)。2.提出了一种关联双视图信息来实时计算鱼的三维方位的方法。我们根据鱼的形态使用椭圆来拟合鱼的身体。在顶视图中我们根据鱼身质心的位置来判断鱼头的方向,将椭圆的短轴与水平线之间的角度作为顶视图下鱼身的旋转角度,并且利用两个正交视图的关联性计算侧视图中鱼身的旋转角度,最终利用空间线性映射关系实时计算出鱼的三维方位。实验结果表明,以1000帧图像作为测试样本,本文提出方法的准确率为70.2%(计算值与标注值相差角度在0-10°内)。3.研发了一个面向MR鱼缸的幼儿教育系统,使用真鱼的三维位置以及三维方位实时驱动虚拟的海底生物跟随真实鱼运动,使虚拟世界中的虚拟海洋生物可以和现实世界中运动的鱼产生互动,实现了有趣的课程内容,构建更为生动的混合现实系统。首先我们将获得的三维数据进行平滑处理,然后建立数据通信,将数据传输到Unity引擎中。再将Unity世界坐标系以及真实世界坐标系进行统一,最后将处理后的真实鱼的三维位置与三维方位数据赋给虚拟场景中的虚拟海底生物,使其跟随真实鱼游动。
其他文献
标签割问题是定义在标签图上的一类经典的组合优化问题。标签图由顶点集、边集、标签集以及边集到标签集的映射组成。在算法研究中,标签割问题是一般图上对应优化问题的推广;在实际应用中,标签割问题被用来衡量共享风险链路网络的健壮性等。最小s-t标签割问题是标签割问题中的基本问题,其目标是在标签图上求一个最小标签子集,使得在图上删除该子集对应的边集后,s点和t点不再连通。最小s-t标签割问题,一方面,是最小s
分子对接是在药物发现过程中一种被广泛使用的计算方法。它通过计算机模拟的方式在受体蛋白质的结合位点中对类药小分子进行姿态定位、评分、排名,以选择出优先用于后续实验测试的化合物,这一过筛选过程将极大地提高后续实验的成功率从而减少时间和经济成本,因此计算机模拟分子对接在药物设计与研发流程中作用重大。在新药研发过程中,对某一特定受体可能需要在数十亿类药小分子中搜索较优的小分子及其与受体蛋白结合的姿态。因此
开源代码平台为科研人员提供了分享和交流代码的环境,近几年,深度学习在自然语言处理、计算机视觉、生物计算等科研领域取得了很大成功,越来越多的深度学习模型和代码在开源平台分享。针对特定问题,研究人员有必要查找相关解决方案,将可复用代码进行对比和性能分析,但现有系统在代码检索和对比方面很少关注算法描述中的专业词汇、函数调用结构等技术特征。为此,本课题改进了基于通用文本的关键词抽取方法,更好地融入反映代码
在现实世界的光照环境下,许多材质有着高频变化的外观光泽闪烁现象。这种现象的成因在于:物体表面上无数微观结构中的一部分形成了完美镜面反射或折射,将尖锐的强烈光源入射到这些微观结构位置上的光线所携带的能量较大比例地散射到观察位置,被人眼观察到。在高度真实感渲染领域里,高精细程度的表观细节材质模型对于提升场景的真实感起到至关重要的作用。传统的材质模型容易使画面变得“油腻”、单调或亮度不正确。而优秀的金属
以群组形式组织和参与活动成为当前移动社交应用的流行趋势,推荐系统的关注点也从面向个体的“个性化”扩展到面向群组的“共识化”。群组成员偏好聚合大多采用预定义的固定策略,例如均值聚合、最小痛苦聚合、最大满意聚合等,这些策略很难捕捉到复杂而动态的群组决策过程,对于近期提出的神经网络模型,成员之间的相互影响及动态的决策过程很难形成输入并通过训练进行表征。而为群组做出推荐时,如何能捕捉到用户的行为序列模式和
文字自诞生起就承载着传递信息的责任。随着互联网技术与移动技术的迅速发展,存储在计算机上的信息以指数级别爆炸增长。文本作为信息的载体也因此增长迅速。对于计算机而言,存储与利用自然场景中的信息是以红绿蓝为基础元素的图片。令计算机自动识别图片中的文本信息有着广泛的应用意义,如自动驾驶、票据识别、人机交互等。近几年来,效果最好的模型大都是基于视觉语义的模型,这类方法通常先使用一个特征提取器将二维的图片提取
<正> 贵刊1991年第1期第52页刊登于克俊同志撰写的"头痛饮治疗多种头痛81例观察"一文,我读后用此方法(川芎40g,当归、白芷、防风各10g,蜈蚣1条。前4味水煎两次兑匀,蜈蚣研细末,分两次用煎剂冲眼,每日1剂,12日为1疗程)治疗血管神经性头痛10例,疗效满意,特向贵刊作以汇报。 10例患者中男3例,女7例,年龄15~35岁,头痛史最长5年,最短1周,多方就医,均诊断为血管神经性头痛。经本
图分类是图挖掘领域的重要研究方向之一,被广泛应用于许多实际领域。现实世界中的常见数据,如社交网络、城市交通网络、化学分子网络等,通常可以表示为图结构。基于图结构数据的分类任务在生活中有诸多应用,如判断化学分子结构的理化特征,将蛋白质分子结构用于新药发现等。因此,利用现有神经网络模型实现准确图分类具有重要意义。近年来,图神经网络在节点分类和链接预测等方面取得了很好的进展。在图中,除节点包含大量特征信
以视频监控为基础搭建的感知系统和网络每天都会产生海量的视频数据,对视频内容的理解和分析在民生、安防、交通、娱乐等领域都具有重要的应用价值。在视频内容理解和分析研究中,基于自然语言的视频事件检索是重要的研究内容之一。基于自然语言的视频事件检索是指以自然语言语句作为查询条件,从视频中查找出与该语句相符的视频片段。由于涉及计算成本高昂的视频理解和文本理解,基于自然语言的视频事件检索不仅需要在不同的场景下
近年来,随着网络技术的发展,监控系统在各行各业的应用越来越广泛,像通信,交通,安全等领域,天网系统更是走进了大街小巷。而随着公共安全意识的提高,监控摄像头大量用于公共安全领域,像地铁站,高铁站等场合,对于公共安全领域来说,理解视频中人的行为对于及时发现公共场景中可能发生的异常事件具有重要的意义。现如今,监控摄像头大量用于考试场合,像中考、高考等重要考试在考场中都会有监控摄像头辅助监考老师进行监考,