人与物体交互活动识别研究是图像理解研究的核心研究内容之一,它对提高图像理解的智能水平具有重要的理论意义。同时,它在信息检索、图像自动收集、人机交互、以及安保自动化等诸多研究领域具有广泛的应用价值。本文通过分析大脑皮层的深度层次结构以及其中蕴含的深度学习机制,归纳总结出了大脑皮层理解人与物体交互活动的基本流程和关键处理阶段,并以此作为研究指导理念,研究了基于静态图像的人与物体交互活动识别技术。本文的主要研究内容和创新成果包括:(1)本文以大脑皮层的深度层次结构和深度学习机制为依据,设计了一种新的人与物体交互活动识别框架。框架通过模拟大脑皮层逐层、逐区域地识别人与物体交互活动的过程,针对其中的四个关键子任务,设计了四个核心模型,即:图像物体3D空间分布重塑、图像视觉结构探测、人与物体交互活动识别、和图像主题内容描述模型,共同完成人与物体交互活动识别任务。(2)分析3D空间信息在二维平面上的成像规律,提出了一种针对单目单图物体3D空间分布重塑的模型。模型使用离散抽象分析方法,重构图像中深度变化连续、变化率一致的区域的深度信息,进而重塑图像物体的3D空间分布信息。该模型提高了物体绝对深度、相对深度、以及物体真实尺寸预测的准确率。(3)在分析图像中人与物体的3D空间相对位置关系的基础上,提出了一种图像视觉结构探测模型。模型通过估计人与物体联合出现的概率强度,预测图像所蕴含的视觉结构。本文的模型在视觉结构所蕴含的人与物体空间相对位置关系统计分析,以及视觉结构探测准确率方面均优于目前具有代表性的Visual Phrase模型、Mutual Model模型和Group of Objects模型。(4)以大脑皮层PC区识别人与物体交互活动的方式和过程为参照,提出了一种人与物体交互活动识别模型。模型以大脑皮层的深度层次结构为基础,设计了一种基于Factors的条件融合知识推理机,将人与物体的3D空间相对位置作为先验条件,辅助模型提取交互活动的高级不变性特征;并采用深度学习机制,逐层高效地训练模型的参数,最终实现人与物体交互活动识别。本文的模型提高了人与物体交互活动识别的准确率。(5)本文提出了一种图像主题自动生成模型。模型包含两个子模型:图像主要语义关系预测和图像主题描述语句自动生成。图像主要语义关系预测模型以分析交互活动与场景物体之间的空间联合发生概率为基础,预测与交互活动最匹配的场景物体之间的语义关系。图像主题描述语句自动生成模型以交互活动与场景物体之间的语义关系为核心,设计了一种基于Lexicalization PCFG的图像主题生成算法,自动生成符合英语语法和语义规范的图像主题描述语句。本文的模型不仅能正确描述图像中人与物体的交互活动,而且生成的语句表现出了较好的语法规范性和认知合理性。