基于FPGA的实时立体视觉系统的设计与实现

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:xamchendehui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
立体视觉技术是计算机视觉领域中非常重要的研究方向,其通过匹配一对不同视角的图像来提取现实场景中的深度信息,该技术在无人驾驶、无人机、虚拟现实、人机交互以及3DTV等领域广泛应用。在过去几十年中,提出了许多算法以及设计平台来提高系统的精确度与实时性,然而由于在获取立体视觉的深度信息时,其运算量巨大且算法复杂度较高,所以实时获得高质量的深度信息仍然具有较大的挑战性。  本文主要提出了基于 FPGA+ARM架构的实时双目立体视觉的软、硬件系统设计方案。根据系统方案要求,系统主要包括图像传感器视频的高速接收、极线几何校正、Census变换、半全局立体匹配算法、左右一致性校验以及中值滤波等关键模块。整个立体视觉的系统在单一的Xilinx ZC706开发板上实现,硬件平台以 XC7Z045芯片为处理器核心,根据对系统软、硬件功能划分,PS(ARM)端主要是实现软件控制与算法的调试,PL(FPGA)端主要实现视觉算法的并行处理的硬件加速。根据系统支持不同的分辨率输出以及算法的配置模式,系统采用了模块化、参数化的设计思想。  在系统设计过程中,摄像头采用 APTINA的 MT9V034,接口数据为高速LVDS串行传输,可以减少噪声等干扰;极线几何校正采用二元回归多项式方程来模拟矩阵相乘,减少两幅图像坐标存储,大大减少了片上硬件逻辑资源。多项式计算采用流水线技术,明显提高系统的工作频率;由于半全局立体匹配算法的复杂度以及对存储器的要求很高,本文采用有效的计算代价函数的方法,并简化为4个方向进行代价聚合,设计并行缓存器,降低对存储器的要求。中值滤波可以滤除误匹配点以及动态规划带来的条纹等问题。  实验结果表明,本设计的系统可以达到视频的实时处理要求,图像的分辨率为640×480,最大视差搜索范围为64个像素,帧率60 fps。对于匹配算法模块的工作频率可以达到130 MHz,可以实现1280×1024@72.2 fps的实时视频处理。
其他文献
高频无极灯作为一种新型的绿色电光源,具有节能、长寿命和环保三大优势,在未来的照明市场上将占有举足轻重的地位,无极灯的发展无论是对节约能源还是减少环境污染都具有重要意义。本文针对沈阳某企业无极灯产品稳定性不高,对无极灯高频发生器的硬件电路进行研究。本文首先分析了电源滤波器电路,总结出在滤波器设计时参数选择的原则。然后对功率因数校正电路工作过程进行了详细分析,在研究恒频控制和变频控制机理的基础上,证明
近三十年来,基于足底压力分布的研究蓬勃发展,并且已经深入应用到多个领域,如步态分析、足疾临床诊断、个性化制鞋等。目前主流的足底压力测试仪器一般为国外公司的产品,存在着价
本论文以单轴电动转台为研究背景,完成转台伺服控制系统的设计并对控制算法进行了深入的研究。分别利用经典PID和模糊控制及模糊PID控制算法对控制器进行了设计;然后应用改进的遗传算法对控制器参数进行优化;最后针对实际系统存在的变死区设计了一种基于模糊控制的死区补偿器。首先,完成了单轴转台伺服控制系统实验平台的搭建。主要包括:由速度环和位置环组成的双闭环总体方案设计、硬件设计以及软件设计。硬件设计主要包
灰色系统理论的研究对象是“部分信息已知,部分信息未知”的“小样本”、“贫”信息不确定系统,它通过对“部分”已知信息的生成、开发了解、认识现实世界,实现对系统运行行为演
现场总线、工业以太网以及嵌入式控制器技术的飞速发展,为分布式测控系统解决分布式控制、控制系统与企业网络的集成等问题,提供了新的途径和手段。分布式测控模块也因此逐渐
工业过程中的很多控制系统在实际运行时都存在性能缺陷,若没有定期的维护,控制系统的性能会随着时间的推移而退化,从而降低了生产效率、造成资源浪费、增加不合格产品。目前
随着空间技术的发展,现代小卫星正在日益走向成熟,必将在现代社会中发挥出越来越大的作用。卫星编队飞行这一概念的提出,为小卫星开辟了新的应用方向和发展空间,受到国内外学
国内工业机器人市场巨大,然而,国产工业机器人品牌在市场竞争中处于弱势,轨迹规划技术作为工业机器人控制器内的重要技术之一,其对提高机器人运动性能进而提高其市场竞争力有重要
随着数字技术、计算机以及网络技术的普及和发展,数字图像已成为大众化数字信息的一种形式而被应用于诸多方面。对于海量的图像信息,检索就成了获取有用信息的一项十分重要的
石油化工过程是十分典型的复杂大系统,在工艺过程与装置确定的情况下,基于生产数据驱动的生产运行优化的研究与应用具有重要的现实意义。一方面由于现场生产数据具有海量、高维、强藕合性、不确定性、不完备性、不一致性、多时标性和数据类型多样性、多模态性,又由于工作环境复杂,电、磁、噪声干扰使数据易受污染。因此,基于数据驱动的任何研究、设计、运行工作首先都需要进行数据处理工作。另一方面由于石油化工过程的非线性、