论文部分内容阅读
针对目前基于红外与可见光模态融合的行人检测方法难以自适应外界环境变化的问题,提出基于多模态信息融合权值学习的行人检测网络。首先,区别于目前大多数研究采用的两模态直接堆叠融合方法,权值学习融合网络考虑两种模态在不同环境条件下对行人检测任务的不同贡献比重,通过双流交互学习二者差异,然后根据各模态特征的当前特性自主获得各模态特征的相应权重,进行加权融合得到融合特征,最后基于融合特征生成新的特征金字塔,并改变先验框的尺寸和密集度以丰富行人先验信息,完成行人检测任务。实验结果表明:在Kaist多光谱行人检测数