在我国,快递行业迅速发展,快速获取快递单上电话号码信息对黑名单过滤、快递审核有重要意义。本文从手写体信息出发,旨在解决快递单上手写体电话号码的检测与识别问题。对于检测部分,通用的检测算法对小物体特征的表征能力差,容易受到噪声的干扰,并不适合号码检测这一类小物体检测问题;对于识别部分,传统方法通常是对号码先进行分割然后依次识别,面对手写体号码这种存在连笔的状况时,分割准确率低。针对以上问题,本文的工作内容是利用深度学习的方法,构建一套新的包含号码检测与识别网络的整体系统。系统的实现依赖于电话号码的的检测与识别,为此,我们一共采集了两个数据集,其中快递单数据集用于训练检测网络,号码数据集用于训练识别网络。对于出现翻转的图片,我们提出了一个新的方法,通过检测条形码区域对图片是否翻转做出判断并纠正。同时对号码数据集进行扩充,避免号码某些位置数字分布不均匀的问题。基于快递单数据集,本文训练了多尺度机制的号码检测网络。为了提升网络在电话号码这类小物体上的检测准确率,本文修改了网络初始框的设置参数,并融合多尺度卷积层的特征进行初始框的提取和分类回归任务,比较不同网络结构对结果的影响。在训练时我们引入在线难例搜索机制,提升负样本的利用效率。实验证明这些方法能有效提升检测网络的准确率。基于号码数据集,本文训练了一个基于整体号码的识别网络,针对号码中背景噪声强等问题,我们修改了网络参数,验证了加深网络能提升准确率。同时我们提出了随机扩张算法,通过对号码整体位置扰动,能够有效解决号码中数字间隔不均匀导致的错误识别问题,提升网络的位置敏感性与泛化性能,从而提升识别准确率,并减少检测网络准确率下降对系统整体准确率的影响。最后,本文结合图片的预处理方法、检测网络和识别网络,构建了一个新的快递单上识别手写体电话号码的系统,能够直接应用于快递行业。此外,这套方案可以延伸到其他类似的任务中,包含各种复杂场景下的序列识别。