论文部分内容阅读
随着信息技术的不断发展,图像数据的存储量日趋增加,如何科学解决海量图像数据的存储问题,能够快速地发现和提取图像的特征,并实现海量数据的快速检索,已成为一个重要的研究课题。面对传统关系型数据库无法满足大数据存储的需求这一现象,提出一种基于NoSQL的存储平台。又因深度学习网络在计算机视觉领域显著的应用成效,将该方法用于图像检索方向已成为图像检索领域的重要研究内容之一。本文对基于深度学习的图像检索进行了深入研究,主要工作如下:(1)结合SQL Server与HBase两者的优势设计了SQL Server+HBase+HDFS的三级检索结构,实现了图像的快速检索。在搭建基于Hadoop的图像存储平台的基础上,对HBase和SQLServer表的存储结构进行设计,其中SQL Server中RowKey存储数据对应HBase中的主键RowKey,通过对HBase中的FileName重新设计为BlockId+FileId+Offset的形式可以快速定位到存储在HDFS中的图像文件。(2)在Hadoop平台下,以ILSVRC2012数据集为研究对象,在存储效率方面比较了HDFS与SQL Server,分别采用三级检索结构和HBase+HDFS检索结构进行比较实验。实验结果表明,随着存储量的增加,HDFS比SQL Server的存储速度更快;尽管三级检索结构存储图像的效率略低于HBase+HDFS检索结构,但由于其能快速定位对应图像的RowKey,可实现图像快速检索和提取。(3)构建十四层的卷积神经网络用以提取图像特征,并在TensorFlow框架下并行实现,为验证网络的并行性能,比较了此神经网络在不同集群节点数量下的运行效率。实验结果表明随着集群节点数的增加,训练时间减少、加速比增大、效率提高。同时针对卷积神经网络结构特点,分析了不同迭代次数、批量训练样本个数及卷积核大小对网络性能的影响。(4)设计并实现了基于深度学习的图像检索原型系统。系统对需检索的图像提取特征,并确定检索图像类别,然后从SQL Server数据库中由类别查询出所对应的特征,并与存储在HBase中的图像特征进行匹配,再由特征对应查找实际图像存储位置,提取目标图像。为检验图像检索系统的性能,以输入图像到返回对应相似图像的时间作为评价检索性能的标准,比较了三级检索结构和HBase+HDFS检索结构的检索速度,实验结果表明三级检索结构极大提高了图像的检索速度。