在柔性下肢外骨骼的各种应用场景中,穿戴者、外骨骼、环境三者之间相互联系,但目前国内外研究大多为外骨骼与穿戴者之间的交互研究,而针对外骨骼与环境之间的交互的研究极少,这使得部分柔性下肢外骨骼只适用于单一场景中。本课题结合计算机视觉技术对提高柔性下肢外骨骼的环境地形感知能力进行研究,使其具有一定的环境地形感知能力,以扩大下肢外骨骼的使用场景范围并提升其步态规划能力。本文的主要研究内容如下:（1）为使得外骨骼能获取穿戴者前方场景信息,搭建了一套基于下肢外骨骼的计算机视觉系统。首先为获取足够的视野选取了合适的双深度相机,设计了一套基于ARM架构的嵌入式脚底压力信息采集系统。然后在平地、上坡、下坡、上楼梯以及下楼梯五种场景中采集人体脚底压力数据并进行分析,确定各场景中腿部对相机影响最小的时刻并将该时刻作为数据采集时刻,解决了在行走过程中腿部对相机的干扰问题。最后设计了一套基于MFC框架的上位机图像数据自动采集系统,结合嵌入式脚底压力信息采集系统实现了穿戴者在不同场景中自然行走时前方场景数据的自动采集。（2）介绍相机各坐标系之间转换的原理以及单应性变换矩阵原理,为后续双深度相机的RGBD图像拼接提供理论基础。然后采用张氏标定法对选取的深度相机的各相机内参进行了标定,并采用联合标定法对各相机坐标系之间坐标变换的刚性变换矩阵进行了标定。最后采用ICP算法对标定出的深度摄像头坐标系之间转换的刚性变换矩阵进行了优化,使得标定结果更加精确。（3）通过设计的自动采集系统在公园、生活社区、盘山公路、森林等场景中采集了包括草地、人行道、公路、上下楼梯、上下坡七种类型共约七千组彩色图与深度图作为训练数据。对采集到的彩色图以及深度图进行预处理后,为方便后续神经网络训练将彩色图与深度图进行了融合。在比较传统的彩色图融合方法、改进后的ORB算法结合APAP算法以及基于深度图引导的彩色图拼接算法三种方法优缺点后,结合本文实际情况选择了深度图引导的彩色图融合方法作为最终的彩色图融合方案。同时对深度图进行融合后获得融合后的彩色图以及深度图数据。（4）基于tensorflow框架搭建了彩色图训练、深度图训练的卷积神经网络以及彩色图和深度图联合训练的信息级融合、特征级融合以及决策级融合三种多模态卷积神经网络并进行训练。训练结果表明三种多模态卷积神经网络最后分类准确率均高于彩色图、深度图单独训练的卷积神经网络分类准确率,同时在三种多模态卷积神经网络中,基于特征级融合的多模态卷积神经网络综合分类效果最佳。