近年来,我国国民经济不断提高,截止2017年底,我国汽车保有量已突破2亿辆,汽车在居民的出行中扮演了极其重要的角色。交通标志牌是一种常见的交通辅助设施,其为驾驶员提供了及其丰富的道路信息,尤其是字符型交通标志,其包含的丰富的高层语义信息对于缓解交通拥堵,提高道路交通安全具有重要的意义。计算机视觉是人工智能中一个极为重要的领域。传统光学字符识别(OCR)技术的发展目前已经趋于成熟,相对于OCR识别的规范文档图像,场景文字由于其背景复杂多变,存在光照不均、遮挡、文本方向多变等因素,其识别具有极大的挑战性,对于自然场景中文本的检测与识别近年来成为了研究热点。交通标志文本是场景文本的一种,目前国内外关于交通标志检测及识别的研究相对较少,尚未形成一个可供研究的公开统一的数据集,尤其是中文交通标志文本。研究选取字符型交通标志中的指路标志为研究对象,通过图像采集和处理建立了一个具有代表性及挑战性的数据集,提出了一种基于深度神经网络的算法对采集到的图像进行检测与识别。同时与当前流行的算法进行了比较,该方法通过提出一种全新的四边形表示回归模型,直接预测任意方向的文本包围框。通过对一些常用的文本检测、词识别和端到端场景文本识别的基准数据集进行了综合评价和比较,清楚地验证了研究算法的优势。研究进一步对现在流行的物体检测算法SSD进行了改进,使其适合于对文本对象进行检测,采用一种CNN和RNN相结合的深度神经网络CRNN对文本进行识别,同时研究提出一种新的思路,即通过文本识别结果对优化算法文本检测算法进行优化,使得整个网络端到端可训练。研究在所有的实验结果中,研究提出的算法在水平文本数据集和多方向文本数据集方面都取得了最优秀的性能,并且效率很高。实验结果表明研究提出的针对任意方向文本进行检测和识别的端到端全卷积网络,具有很高的稳定性和效率,可以在杂乱的背景下生成单词候选区。研究还在自己收集制作的数据集上进行了实验,结果显示本算法在中文多方向数据集上也取得了较好的结果。