视障人士由于缺乏有效的助盲工具,在出行社交等方面面临诸多困难。视障人士感知文字类高级语义信息的需求可以借助文本识别技术来实现。然而,现实生活中的文本信息背景复杂,分辨率低,字体多变,排列不规则,使得场景文本检测与识别技术很难实现。本文基于深度神经网络技术,研究视障人士关注的涵盖文本的关键对象的检测与识别系统,同时针对倾斜文字设计并优化文本检测网络,开发涵盖中英文混杂字符的文本识别网络。基于物体识别的相关技术,借助预选框回归和多尺度检测,设计感兴趣对象(如公交车、书本、水平文本框几类)识别网络,端到端地预测出对象的位置、类别信息。文本检测网络针对倾斜文字框检测的困难,设计倾斜四边形回归方案,关注文字的纹理特征,提高特殊类型文本框检测的精准度。文字识别针对中英文混杂字符,利用上下文特征,为文本框实现可变字符长度的文字识别技术。在资源和精度权衡等方面的实验,证明了本文的算法在标准数据集上取得有竞争力的测试结果。为解决真实场景中使用所存在的问题,本文还分别研究多帧融合技术于文字识别前做图片特征增强,引入轻量级网络应对计算资源限制和实时性要求。总的来看,本文所设计的算法能抑制文本空间变换(平移、缩放、旋转等)的影响,为场景文本描述提供了良好的准确性和鲁棒性。以上技术搭载在智能穿戴设备中,帮助视障人士检测并描述即将到来的公共汽车的路线号,手边的书本名,店铺的招牌名等等场景文本内容及文本所处的背景,并通过语音播报结果,实现丰富的场景描述和不同场景的优良适应性。本文字识别系统可与课题组的其他导航、避障等视觉辅助算法相结合,为视障人士提供更精确、高效的室内外出行辅助。