随着人工智能技术的蓬勃发展,机器智能水平不断提升,人机协作场景的应用越来越受到人们的关注。在人机协作应用中,人和机器位于同一场景中互相合作,不仅要求机器智能被动执行人的指令,更希望实现机器智能对人类行为意图的主动观察和理解,以实现自然交互与协同工作。但是,人类行为意图属于高级语义层面,对其进行计算和预测是一项非常具有挑战性的难点问题。考虑到在一般情况下,人的思维意图和人的视觉注意行为息息相关。因此,利用计算机视觉技术从机器人视角对场景中的人类视觉注意进行预测就成为意图预测领域的重要突破方向。但传统的视觉注意预测方法在应用于以上研究方向时存在两方面的局限:1)传统方法大部分针对二维图像上的视觉注意预测,难以克服人机协作三维空间下的场景和物体遮挡问题;2)传统的视觉注意预测方法侧重于从第一人称视角预测人在观察图像数据时的视觉关注点,无法应用于从第三人称视角预测图像中的人的视觉注意方向和关注物体。针对以上问题和挑战,本文针对三维场景下的第三人称视觉注意方向和关注物体预测方法展开研究。主要研究内容如下:（1）鉴于肢体动作与视觉意图之间的相关性,本文提出一种基于人体骨架信息的视觉注意预测算法。该算法从三维场景的深度图序列中提取出人体骨架信息作为肢体动作的表达形式,并结合深度学习下的时空域联合预测框架实现连续的视觉注意方向预测。同时,在空域骨架结构上设计分区处理的神经网络结构以及置信度权衡机制以强化更具分辨力的肢体动作,并抑制无关动作以及噪声的影响。相比于同类算法,本算法在相同数据集上可以获得更精确的注意视线方向预测。更进一步地,本算法利用三维空间中的注意视线方向可以准确分割视觉关注物体,并在具有遮挡情况的场景中具有较好的鲁棒性;（2）针对人物正面头部图像可高质量获取的应用场景,本文提出了一种基于骨架、头姿等多模态信息联合预测的三维注意力预测算法,以获取更加精确的预测效果。该算法采用头部图像、肢体动作信息以及场景三维信息作为多模态输入,并连续预测三维场景中的视觉关注物体。针对时域信息挖掘、肢体动作分区利用的问题,算法设计基于时空图的神经网络模型实现基于多模态信息的特征提取;针对多模态特征的融合问题,算法设计时域融合层以充分挖掘不同模态特征之间的相关性与互补性;最终,本算法在数据集上取得了更好预测精度,同时面对序列动态性变化具有较好鲁棒性;（3）为算法的训练测试,本文还创建了首个开源的大规模第三人称视觉注意预测数据集。数据集面向12个参与者各采集40种不同日常动作序列,最终形成包含7189个视频序列以及830160帧的多场景、多人物、多动作类型的多模态数据标注,包括三维注意力方向、头部彩色和深度图像、肢体骨架数据等。基于以上研究内容,本文可以实现人物正面头部图像可否高质量获取的不同应用场景下的第三人称视觉注意力预测。对于在三维场景下自由活动的人物,本文可以实现对其视觉注意力方向的连续预测,并可以预测其视觉关注物体。