本文面向便民自助书柜,采用基于图像的书脊检测与识别方法,对书籍的存取借还等操作进行管理和验证,能够减轻人工管理书柜的工作量并提高工作效率。本文结合自助书柜的功能需求,研究和实现了适合不同应用场景的书脊检测与识别方法,主要工作如下:(1)针对书柜格子内的场景,提出了联合直线特征与文本特征的书脊检测方法,实现对书柜图像中每一个书脊的定位和分割。为了确定书脊的位置和方向,提出了基于链码跟踪的近似直线检测算法,进行书脊区域粗定位;为了解决粗定位存在的漏检和误检问题,采用CTPN文本检测算法检测文本列,进行书脊精确定位。有效改善了以往研究方法中存在的书脊漏检、误检、粘连等问题。(2)针对自然场景中的多尺度、多位姿的书脊检测,基于Mask R-CNN实例分割网络训练了书脊分割模型,对变化场景中的书脊检测具有更好的灵活性和通用性,并通过设计适合大目标书脊的训练集和预处理方法,改善了模型对中等大小和大目标书脊的分割效果。(3)针对自动构建书库的应用场景,实现了基于字符识别的书脊识别方法。基于书脊文本配色多样的特点,设计和实现了基于SWT算法和投影分析的字符分割方法;基于书脊文本字体丰富的特点,设计和训练了基于卷积神经网络的汉字识别模型;基于最短编辑距离算法实现了书脊文本与实际书籍信息的匹配和修正。实验证明本文方法对汉字字符书脊相较以往研究具有更好的识别效果。(4)针对书籍匹配检索、存取借还验证等应用场景,基于SIFT特征和RANSAC特征匹配算法,设计和实现了多目标模板匹配方法,实验证明该方法相较以往研究能够更加准确简便地匹配目标书脊图像,从而通过书籍的在柜状态验证用户对书柜书籍的操作合规性。