现代社会的发展使得互联网与多媒体技术走向了新的高度,给我们的生活带来了大量的音视频数据,人们越来越期望能够利用计算机来感知理解这些图像或视频中人类的行为,由此引出了行为识别技术。作为计算机视觉领域的前沿技术之一,行为识别技术吸引了广大科研工作进行广泛而深入的研究与探索,在智能家居、视频监控以及机器人学习等多个应用领域有广阔的发展前景。针对动态复杂场景下的操作行为识别,本文提出了一种基于手势与物体的操作行为识别框架。该框架主要包含RGB视频特征提取模块、手势特征提取模块、物体特征提取模块与动作分类模块四个部分。其中RGB视频特征提取模块主要使用了I3D网络来获取RGB视频的时间与空间特征;手势特征提取模块利用Mask R-CNN网络提取出操作者手势特征(抓取类型);物体特征提取模块使用Mask R-CNN网络提取出被操纵物体特征(物体属性);动作分类组件将上述特征进行融合,并将融合后的特征输入到分类器中进行识别行为。本文在一个名为EPIC-Kitchens的大型的公开行为数据集上进行了实验验证,实验结果表明,本文提出的方法框架能够较好地识别分类出视频中的手部操作行为,验证了手势与物体特征对操作行为识别的可用性与有效性。