随着信息化社会的深入快速发展，多媒体技术受到越来越多人的关注，具有拍照功能的手持终端产品得到了广泛的普及，其中最具代表性的就是智能手机。智能手机的普及，不仅使人们在日常生活中获取自然场景图像更加容易，而且给自然场景图像的文本信息提取带来了广阔的应用前景。由于自然环境中文本的颜色多样、文字大小变化范围大并且有不同的排列方式，而且图像背景通常较为复杂，所以对自然场景下的文本进行定位和识别是一个非常有挑战性的课题。本文基于手持终端设备，对自然场景下文本的定位、识别以及识别后处理进行研究，开发出了一套完整的基于手持设备的文本信息提取系统，主要内容如下：1、自然场景下文本定位本文采用的是一种半自动的基于颜色聚类的文本定位方法，通过手持设备的手写笔人工地选择某一目标颜色点，然后对图像进行分析继而进行颜色聚类，最后进行连通域处理，给出文本定位的结果。2、自然场景下文本识别通过对自然场景图像进行文本定位得到文本的位置，接着对文本所在区域的图像进行二值化处理并去除孤立的噪声点，再进一步进行单字符的切分、剪裁和归一化操作，然后对归一化后的图像提取方向线素特征，最后把特征向量输入到欧式距离分类器，得出识别结果。3、自然场景下文本识别的后处理在文本识别之后需要对识别结果做后处理，以进一步提高文本的识别率。首先建立词汇联想所必需的联想词库，接着设计了基于标记的词条存储方法；然后对包含文本的矩形框进行排序，确保相邻位置的汉字具有组词的可能性；最后给出了“前向—后向搜索”以及自适应词汇联想的具体实现过程。