论文部分内容阅读
随着计算密集型的嵌入式应用的不断扩展,对嵌入式平台的计算性能及功耗控制提出了更高的挑战,而嵌入式多核处理器能够实现高性能同时保持灵活性和动态低功耗性,已经成为嵌入式高性能计算的一个有效解决方案。因此对应用程序进行并行化改造,使其能够适应于嵌入式处理器的硬件架构,发挥嵌入式多核处理器的并行计算优势,实现高性能和低功耗的平衡,具有较大的研究意义。实时视频拼接技术将若干个具有视角重叠的图像传感器同时拍摄的场景序列,拼接成宽视角、接近原始场景、没有明显缝合痕迹的高分辨率视频,视频拼接可以广泛的应用于视频会议、视频监控、遥感探测、医学图像处理及军事领域。然而目前视频拼接技术研究仍以X86硬件平台为主,而基于嵌入式平台实现的视频拼接在视频采集质量、拼接实时性、拼接视觉效果上存在很大的不足,导致基于低功耗、微型的嵌入式平台实现实时视频拼接仍没有稳定可靠的解决方案。课题从图像拼接技术原理出发,分析视频拼接的工作流程并对目前基于X86平台及嵌入式平台实现的视频拼接解决方案进行比对分析,研究基于MPCore多核并行机制实现实时视频拼接在技术路线的可行性;其次分析MPCore多核处理器的体系架构特性,比较多核处理器对称多处理机制相比单核处理器在计算效率、内核扩展性及功耗管理的优势,对嵌入式多核并行的关键技术深入研究,包括MPCore处理器SMP的工作原理、多核并行改造的分析模型、并行化编程方法及并行效率评估方法,研究嵌入式并行编程可用的性能分析工具,分析嵌入式并行开发相比桌面并行开发存在的难点;随后研究高清图像传感器、视频采集平台及VideoCoreⅣ多媒体编解码引擎的硬件特点及工作流程、基于OpenMAX编程组件实现双路同步视频的实时采集及H264编码,同时通过网络通信将编码视频流传输到MPCore多核平台,而MPCore多核平台采用OpenMP编程方法完成双路视频解码流程的并行改造,有效提高视频解码效率;同时深入研究不同特征点提取算法在复杂度、算法鲁棒性的差异性,采用了SURF特征点提取算法并对SURF算法进行并行化分析,针对已有SURF并行方法存在的多核间负载不平衡、并行效率不高等问题,提出了动态人工池流水并行机制来提高SURF算法的执行效率,并对RANSAC特征点变换矩阵计算进行并行化改造,同时采用多核并行优化的透视投影变换及带阈值渐变均值融合算法完成同步视频帧的拼接。测试结果显示,基于MPCore多核并行化的视频拼接技术实现了双路同步480P视频每秒28帧的拼接、720P视频每秒12帧的拼接,且拼接视频比较平滑、没有明显的缝合痕迹,有效提高了人工视觉的视场范围,可以广泛应用于视频监控、视频会议及军事领域,具有较大的实际应用价值。