计算机视觉技术的快速发展使智能监控领域迎来了广阔的发展前景。现实生活中如家庭、游泳馆等不同场景的智能监控与安全保障意义重大,而这些场景下监控的目的之一是为了对于不同场景下的人体异常行为进行识别。不同的异常行为与实际发生的场景息息相关,如室内独居老人的摔倒行为、游泳馆的溺水行为、加油站的吸烟行为等。现有的异常行为识别方法主要是利用可见光摄像头进行的,可见光视频纹理清晰、方法成熟。但在实际场景中依然存在问题,如可见光图像受光照强度的干扰,在独居老人的监护场景中不能给予老人足够的隐私保护,在游泳馆监控场景中受水面反光的干扰等。而红外图像有着不受光照干扰、成像与温度有关、对水和玻璃等介质的穿透性差等独特特性,具有天然良好的隐私保护性能与天然的水面分割效果,且自身可实现全天候监控。因此,利用可见光图像与红外图像的互补特性,开展不同场景下的双光谱人体异常行为识别研究是一个富有意义的研究方向。基于此,结合可见光与红外两种光谱图像,本文开展了如下两个研究工作:（1）针对室内场景中独居老人的异常行为识别研究,提出了一种基于姿态估计的双光谱行为识别算法和一种基于行为参数场的红外异常行为识别算法。在对于室内场景中的独居老人异常行为识别研究过程中,本文首先针对室内非私密场景展开研究,通过将可见光领域的姿态估计算法与图卷积算法进行结合,实现了较高分辨率的双光谱视频下的行为识别算法,并验证了可见光的姿态估计模型对于红外图像下骨架关键点提取的有效性;然后针对如卧室、洗手间等室内私密场景展开研究,从老人行为具有规律性与场景固定角度出发,提出了一种基于行为参数场的低分辨率红外视频下的异常行为识别算法。最终,基于上述提出的两种算法,设计实现了一个智能居家监护系统,拥有良好的检测效果和系统稳定性。（2）针对游泳馆中人体溺水检测研究,提出了一种双光谱人体溺水检测方法。对于游泳馆场景中的研究过程中,发现可见光摄像头拍摄的泳池存在背景动态、水面反光等干扰,难以有效区分水中人体是否发生溺水行为。本文利用可见光丰富的纹理细节信息和红外无法穿透水面之下的互补特性开展溺水行为检测研究,分别设计与实现了双光谱视频中的目标检测与跟踪算法,并通过身份匹配进行目标身份确认,最终通过运动形态分析完成是否溺水行为的分类任务。最终,设计实现了一个溺水检测系统,目前该系统已在某游泳馆试运行,其检测精度与实时性均已满足企业需求。