低频振动普遍存在于轨道交通、市政建设和生产生活中,这种不易察觉的低频污染对精密仪器、建筑结构和人体健康构成了威胁。因此低频振动监测和识别对环境安全和工程实践具有重要意义。机器视觉具有高可靠性、非接触的优点,近年来,随着人工智能的不断发展,深度学习在机器视觉领域有着越来越广泛的应用,使用深度学习对低频振动进行监测逐渐成为研究的热点。与传统的图像识别不同,低频振动的信息包含在动态帧图像之间,且不同频率振动的类间差异小,不易区分。如何处理振动原始数据并选择合适的网络结构提取振动的特征是研究的难点和关键。本文首先提出了一种基于并行多尺度一维残差卷积神经网络的振动监测方法。该方法将物体的振动转换为图像像素点的振动信号,首先使用Sobel算子在首帧图像中定位振动显著点,然后将这些点在时间维度上像素值的变化转化为一维振动信号。根据该信号的特点,选择并行多尺度一维残差卷积神经网络来学习低频范围内的振动特征。最后通过在不同振动物体上的测试验证了方法的有效性。上述在振动显著点提取后再通过神经网络进行分类的方法,具有准确率高、通用性好的优势,但是先提取特征点的方式耗时较长,不能满足部分场景对监测实时性的要求。因此我们提出了一种基于多模态3DCNN-Conv LSTM的视觉振动环境监测方法。通过三维卷积结构（3DCNN）提取空间维度上的振动信息,节省了人工提取显著点的时间消耗;使用卷积长短时记忆（Conv LSTM）结构学习振动帧图像在时间维度上的特征。从而实现了将采集的动态振动帧图像直接作为网络输入,进行快捷的端到端的振动监测。此外,由于实际生产中光线等环境因素变化较大,我们通过网络输出融合的方式将深度和RGB两种模态的信息进行融合,提高了方法的可靠性。最后通过实验证明了网络模型和模态融合的有效性。