人类依靠世界地图将世界各地联系在一起，形成一个整体。这是人类认识和理解世界的基础。与此相似，机器人要能理解所处的工作环境，同样离不开环境地图。未知环境中的地图创建（即同时定位与地图创建）就是为了使机器人能够自主识别和理解环境而提出来的。经过近三十年的发展，同时定位与地图创建已经取得了显著进展，部分技术甚至已经成熟。但当前，机器人仍难以提供日常生活中的基本服务，如斟茶倒水等。一个重要的原因是传统地图描述缺少必要的认知信息，导致机器人无法以与人相同或相似的方式认识周围环境。与此同时，认知信息的缺乏也给传统地图的应用造成很大的限制及制约。为提高机器人对环境的认知能力，在对构建认知地图的相关技术进行分析提炼的基础上，本文着重研究基于视觉的物体感知及场景语义信息获取技术。探讨了包括室内场景中的未知物体分割、日常生活场景中的物体模型学习以及根据观测图像识别场景等关键性问题。本文的主要贡献包括以下几方面：1)提出一种利用局部一致性约束来实现配准的三维模型构建方法。不一致性是影响配准精度的重要因素，在分析配准中可能存在的两类不一致性的基础上，利用多帧数据匹配间的相互关系，引入关系推理过程以确保匹配一致性。同时，以建立的匹配关系为基础，把多帧数据间的匹配误差作为优化目标，并将变换关系作为优化问题的约束条件，从而保证了变换间的一致性。鉴于问题的特殊形式，采用变量轮换策略以及非线性最小二乘优化方法对问题进行求解。对比实验结果表明，所提方法能有效地提高配准精度，从而构造出具有更高一致性的三维模型。2)提出一种基于局部表面凹凸度的未知物体分割方法。局部表面凹凸性是区分三维场景中物体表面边缘以及物体与场景交界的重要依据，在研究局部表面凹凸性两种不同判定的基础上，采用连续的局部表面凹凸度来替代布尔型判定，以降低方法对观测噪声的敏感度，从而避免早期误判而影响最终分割结果。通过结合表面凹凸度及法方向信息，提出一种新型的分割权重计算方法；该权重能更好地揭示需要分割的物体与场景交界以及不能分割物体表面边缘。以此为基础，为输入场景构造无向带权图，并通过快速贪心图分割算法获得未知物体。实验结果表明：基于凹凸度的量化衡量比基于凹凸性的判定在应对观测噪声以及估计误差上具有更高的鲁棒性；结合表面凹凸度与法方向的权重计算在分割结果上要明显优于仅基于法方向的方法。而在与其它基于复杂的学习及推理方法对比时，所提方法表现出不亚于它们的结果。3)针对场景中的多物体模型学习问题，提出同时物体识别与建模(SimultaneousRecognition and Modeling, SRAM)框架，从而以在线方式构造物体模型并利用模型进行识别。为了应对在线建立过程中模型的更新问题，提出以视图为节点，视图间的约束为边的物体图模型，并通过约束边调整来实现便捷的模型更新。为描述给定观测与模型之间的关系，进一步建立物体的概率观测模型，并在模型中充分考虑物体的表象及结构信息，以降低误识别的可能性。表象差异主要通过显著特征描述子间的距离来刻画，而结构差异则通过特征的重投影误差进行衡量。以概率模型为基础，将对物体的识别与建模归结为统一的概率推理问题，并采用最大似然估计方法实现识别与建模的同时最优化。将SRAM应用于同时多物体模型学习，结果表明所提方法能有效地从各种不同场景（包括静态与动态）中学习获得物体模型。4)针对直接采用特征描述子的场景识别存在计算复杂度高且容易受到噪声干扰的问题，提出利用特征编码来优化特征描述，以提高识别准确率。在分析几种编码方案基础上，总结编码的相关规律，提出拉普拉斯局部线性约束编码。该编码利用与待编码特征距离相近词目的线性组合来表示特征，并通过构造衡量特征间相似程度的拉普拉斯矩阵来对特征编码施加约束，从而在维持低重建误差及编码局部性的同时，有效保证编码的一致性。另外，通过引入模板特征集，特征编码间的相互依赖关系得到解耦，每个特征的编码对应于一个线性系统的解析解，从而大为提升编码的效率。实验结果表明，所提方法不仅高效，其在多个数据集中的结果也表现相当优异。