论文部分内容阅读
交通事故对人们的生命财产安全造成严重威胁,全向视觉感知系统作为高级驾驶辅助系统的重要组成部分,能够实时采集车辆周围的图像信息,及时预警车身四周发生的危险,有效提升汽车的主动安全性能。论文主要针对现有全向视觉感知系统的有效视野受限、3D全景拼接存在重影、缺乏物体检测和距离信息等问题进行研究,提出了基于多目鱼眼相机信息融合的车载全向视觉感知系统。论文的主要研究工作和创新点如下: 1、针对现有3D全景拼接算法的有效视野受限、拼接区域存在重影等问题,提出了一种基于3D投影的全景拼接算法。提出了适用于车载鱼眼相机的畸变校正算法和相机外参估计算法。设计了3D碗状模型,四路鱼眼相机同时向3D碗状模型投影以完成3D全景拼接,引入网格变形算法和二次成像模型解决重影问题。实验证明,该算法能够有效地对鱼眼相机进行畸变校正和外参估计,消除全景拼接过程中的重影,3D全景拼接效果优于市面上的其他全景成像系统产品。 2、针对全景拼接得到的全景图像边界不规则的问题,提出了一种基于亚像素缝雕刻的图像整形算法。通过提出直线约束机制、前向能量代价因子和能量扩散代价因子,算法选取对图像内容影响最小的最优缝在0~1个像素范围内进行亚像素缩放,在保证图像内容完整性的同时完成全景图像整形。实验结果表明,本文算法的峰值信噪比(peak signal to noise ratio,PSNR)、结构相似性指标(structural similarity,SSIM)、整形效果均优于基于图像填充和基于网格变形的全景图像整形算法。 3、针对物体检测神经网络计算复杂度高、不易在车载嵌入式平台上部署的问题,提出了物体检测神经网络的量化训练算法。采用低比特定点数代替浮点数进行神经网络训练。提出了自适应量化算法,根据各卷积层的权重及输入的概率分布,自适应地计算其最优的量化策略。实验结果表明,相比于32bit浮点数模型,本文量化算法训练得到8bit模型的物体检测平均准确率(mean average precision,mAP)下降不超过1%,4bit模型的mAP下降不超过3%。 4、针对现有神经网络框架不支持低比特定点数运算的问题,设计并实现了适用于低比特定点数的神经网络前向计算框架。提出基于滑窗和基于矩阵乘法的定点数卷积算法,并根据卷积层的参数自适应地选择各卷积层最优的计算方式。采用NEON指令集加速定点数卷积。实验结果表明,8比特NEON定点数卷积比原浮点数卷积加速8-9倍,4比特NEON定点数卷积比原浮点数加速12-13倍。 5、针对各鱼眼相机的视角有限且采集到的信息间存在冗余的问题,提出了多目鱼眼相机信息融合算法,构建车载全向视觉感知系统。将四路鱼眼图像中孤立的物体检测信息变换至3D全景图像中进行信息融合。提出了基于单目车载鱼眼相机的障碍物距离估计算法,对车辆周围的物体位置信息进行场景重建。实验表明,通过多目鱼眼相机的信息融合,3D全景图像中的障碍物信息更加准确、直观。障碍物到本车的方向角和距离的估计误差在可接受范围内。