随着物联网技术的发展和全景成像技术的成熟,全景相机在商场和会展中心迅速普及,涌现出越来越多依托全景图像的视觉应用需求,例如物联网设备可以通过分析视线信息来理解人的行为和意图。目前视线方向识别的研究主要是基于眼球或人脸特征的视线估计方法,面对的大多是受控场景下的视线估计。当面对全景相机所应用的复杂非受控环境时,传统方法视线方向识别精度低,因此本文将研究面向全景图像的多行人视线方向识别,先对多行人目标进行定位,再对目标行人的视线方向进行预测。360°全景相机拍摄出来的图像经过圆柱形投影展开后,由于使用了插值算法,使得全景图像展开图从赤道到两极附近存在不同程度的畸变,特征提取主干网络对全景图像的特征表达能力下降。且由于近大远小的成像原理导致了全景图像上的目标存在较大的尺寸差异,使得常规的检测算法在全景图像上多行人检测的精度低。针对此问题,本文提出了可形变卷积金字塔结构,可以根据采样位置的不同自适应地扩张或收缩感受野,提供畸变目标在多个尺度上的特征,增强特征提取主干网络对全景图像上畸变目标的语义表达。在可形变卷积金字塔结构的基础上,提出基于可形变卷积金字塔的人脸检测方法,有效提升了在全景图像上的多行人检测精度。在非受控的全景图像上,行人多且相互聚集,行人姿态各异,获取不到人眼特征,部分小尺寸人像目标的人脸模糊不清,还存在背脸的情况,传统的基于眼球或人脸的视线方向识别方法在这样复杂场景下的视线方向识别精度低。针对此问题,本文提出了基于视线方向场和高斯热图域融合的视线方向识别,先通过人脸特征预测多估计值的视线方向场,再根据人身区域特征预测出的高斯热图域对视线方向场做进一步调整,给出最终的视线方向预测结果,从而有效提升了在全景图像上的多行人视线方向识别精度。目前缺乏开源的全景图像数据集,因此本文还采集并标注了一个全景图像数据集用于评测多行人的视线方向识别方法在全景图像上的表现。