随着移动互联网的迅猛发展及可拍照智能终端的广泛普及，自动理解用户拍摄的图像或视频中的高层语义信息具有巨大的应用前景，而图像中的文字直接携带了语义信息，因此数字图像中的文字自动检测与识别技术得到了国内外研究者的广泛关注。现阶段针对扫描文档的文字识别技术已经日趋成熟;然而，由于自然场景中的文字的位置、尺寸、字体、光照、视角、形变的多变性以及背景的复杂性，自然场景中的文字检测及识别仍存在诸多需要攻克的技术难点。　　针对场景文字的类内多变性及背景的不确定性，以及场景文字识别问题本身的复杂性和交叉性，本文借鉴图像处理、目标检测、模式分类、机器学习等领域的最新进展，对场景文字识别所涉及到的文本检测、抽取以及识别等子问题分别展开了一系列的研究，并且在对以上子问题研究的基础上提出了集检测与识别为一体的场景文字识别方法。本文的主要工作和贡献包括以下内容:　　1.由于自然场景中文字、背景的多变性以及训练样本的有限性，导致一种信息或者一个分类器不能很好地区分文字/非文字区域。针对以上问题，本文提出了基于图模型的场景文字检测方法，在图模型的框架下结合上下文融入多种信息来提高文字检测的性能。本文首先提出一种基于图模型的背景抑制方法，该方法把像素点视为图的节点，将区域分类器结果、颜色和梯度信息融合到图模型的损失函数中，通过最小化损失函数得到最优的背景抑制效果。实验结果证明此方法优于其他的预处理方法。为了更加充分地利用上下文信息，本文提出了建立在极大稳定性极值区域上的图模型的场景文字检测方法，把极大稳定性区域视为图模型的节点，融合多种信息到一个框架中，进而使各种信息相互补充。该方法对尺度不敏感，同时由于考虑了上下文信息，自适应性较强。实验结果表明本方法取得了较好的文字/非文字极值区域分类效果和整体的文字检测性能。　　2.针对适用于扫描文档的二值化方法在背景复杂的文本块图像上会失效的问题，本文提出了基于图割的自适应复杂背景文本图像抽取方法。针对复杂背景文本块图像背景不均匀带来的噪声，本文提出了先分后合的方法，将文本块图像粗分为若干子图，然后在各个子图上分别处理;针对文字特有的笔画信息，本文设计算法自动为图割提供置信度较高的前景及背景点作为硬约束，结合软约束利用图割算法将硬约束扩展到整个子图，以实现文字笔画与背景分割的目的。在视频文本图像上的实验结果验证了本方法对于分割复杂背景文本块图像的有效性。　　3.为了利用文字特有的结构信息，本文提出了两种融入结构信息的场景单字识别方法。为了对文字实现基于结构的表述，本文首先提出了基于多尺度图匹配核的场景文字识别方法，该方法将文字表示为基于多尺度网格划分下的无向图，通过图匹配计算两幅图像之间的相似度，而在图匹配过程中利用了文字的结构不变性约束，因此可以应对具有一定形变的场景文字。实验结果验证了本方法的有效性。为了更加直接充分地利用字符特有的结构信息，本文提出了基于结构指导的场景单字识别方法，将每类字符表示为一个基于部件的结构，为每类字符训练一个用于检测该字符特有结构的树结构模型，实验结果表明了该模型在字符检测及识别方面的优越性。在基于结构指导的单字识别方法的基础上，本文提出了基于条件随机场和基于最大化后验概率的场景文本识别方法，两种方法均将字符检测结果及语言模型等信息融合到一个框架中，在国际场景文本识别数据集上的实验结果表明，本文的方法取得了世界领先的场景文本识别性能。　　4.针对现有的大部分场景文字识别系统将文字检测与文字识别相互分离，从而导致信息损失的问题，本文提出了集检测与识别为一体的场景文字识别方法，从而使文字检测与识别能够相互促进、相辅相成。该方法在单字识别与单词识别上均利用了基于树结构的模型。对于字符的检测和识别，为每类字符建立其特有的基于部件的字符树结构模型，将字符检测与字符识别无缝连接。字符树结构模型在为单词识别提供字符检测识别结果的同时，也为文本检测提供了单字识别信息的反馈，从而提高检测性能。对于单词识别，本文在标准图结构模型上增加了归一化项，以应对标准的图结构模型对不同长度的单词的得分偏差。实验结果表明本文的集检测与识别为一体的场景文字识别系统不仅在文字检测、文字识别子任务上取得了较好的结果，其整体的识别性能也大幅度领先于其他已经发表的结果。　　总的来说，本文在场景文本检测、抽取及识别上均取得了较大的研究进展，并且为集检测与识别为一体的场景文字识别系统提出了建设性的解决方案。本文的工作对推动场景文字检测及识别的性能提升及走向实用化做出了有意义的探索和尝试。