在我国国民经济中建筑业具有重要的地位,对国家经济的发展有至关重要的影响,是我国重要的支柱性产业。因此,保证建筑业的稳定发展具有重要的意义。当前建筑施工现场中设备复杂、人员较多、环境较差等原因导致安全事故发生频率依然较高。高频率的安全事故除了会造成重大的生命和财产损失外,还会产生负面的社会压力。根据安全事故统计发现,大部分的事故是由于人的不安全行为所造成的,因而针对建筑工人的不安全行为进行有效的预防和控制,对有效提高安全管理水平有着关键性的作用。本文根据我国安全事故通报情况发现,安全事故中占比最高的是高处坠落问题。因此,利用计算机视觉法结合监控视频,针对建筑施工现场中常见的临边环境下建筑工人的不安全行为进行识别监测,提高安全管理的效能。本文根据人体行为动态过程具有空间信息和时间信息的特点,建立包含了CNN和LSTM的行为识别模型结构,首先将轻量的ECA通道注意力模块引入到结构更深的ResNeXt网络中,在极少的增加额外参数的情况下,达到增强卷积神经网络的性能;进而利用处理时间序列的能力更强的Bi-LSTM来提取行为过程中的时间特征。基于实地调研来确定临边不安全行为种类,在实验室环境下模拟建筑工人临边不安全行为,并建立数据集。将本文提出的算法在公共UCF-101数据集和自行建立的工人临边行为数据集中进行验证,分别达到了86%和76%的识别率,具有较好的检测效果。建筑工人临边作业不安全行为的判断具有环境感知性,本文针对临边工作场景下的目标特点改进锚框尺寸并通过结合Bi-FPN来改进MaskR-CNN算法,实现了对临边环境下的工人和临边防护栏进行目标识别和像素级分割,在自建临边状态数据集上的检测精确率为91.3%,相较于原MaskR-CNN算法提高了3.1%。最终基于分割的工人和临边防护栏像素集合提出建筑工人临边状态判定方法。本文所提出的工人不安全行为识别方法对于临边不安全行为判识具有较好的效果。可以自动的监测临边作业下工人典型不安全行为,用于减少临边环境中的不安全行为事故发生,增强安全管理成效。