论文部分内容阅读
摘要：黑白照片是一种早期的成像方式，很多有历史意义的照片都以黑白照片的形式保存下来。随着信息技术的发展，黑白照片可以被收集存储于多媒体数据库中。图像检索是多媒体数据库中最需要也是最普遍的要求，图像检索的关键技术就是图像描述和图像特征提取。本文通过对灰度特征与纹理特征的提取，实现基于图像内容的黑白照片检索。通过对实验结果进行比较和分析，可以看出本文提出的检索方法具有较高的准确率。
关键词：图像检索；多特征；特征提取；灰度特征；纹理特征
中图分类号：TP751 文献标识码：A文章编号：1007-9599 (2011) 24-0000-02
Black and White Photographs Retrieval Based on Multi-characteristics
Li Dazhen
(Tianjin Heavy Equipment Engineering Co.,Ltd.,Tianjin300457,China)
Abstract:Black and white photograph is an early imaging modality,in which form many historic photos are preserved.With the development of information technology,black and white photographs can be collected and stored in a multimedia database.Image retrieval is the most common and most important requirement for a multimedia database.Image description and image feature extraction are the key technologies of image retrieval.In the paper,content-based image retrieval of black and white photographs is implemented based on the gray and texture features extraction. Experiments show that proposed method works possesses a high accuracy.
Keywords:Image retrieval;Multi-features;Feature extraction;Gray features;Texture features
一、相关工作
黑白照片是一种早期的成像方式，很多有历史意义的照片都以黑白照片的形式保存下来。随着信息技术的发展，黑白照片可以被收集存储于多媒体数据库中。图像检索是多媒体数据库中最普遍和最重要的要求，传统的图像检索基于文本方式，需要对图像数据库中的每一幅图像使用关键字或自由文本进行标引和著录。实际应用中经常需要根据图像内容进行图像检索，因此基于内容的检索技术（Content-Based Image Retrieval，简称CBIR）成为了人们研究的热点。
CBIR检索技术的核心是描述图像内容的可视特征提取，融合了图像理解和模式识别等技术，克服了传统检索方法的缺陷，具有很好的前景和应用价值。为了不断的完善图像检索技术，就需要对图像的特征提取进行更深入的研究，使得提取的特征既能够更加真实地反映人的主观认识，又方便与数学表达和索引[1]。基于内容的多特征组合图像检索是结合图像的颜色、纹理、形状、空间关系等多种图像特征，全面描述图像内容的检索方法[2]，在实际应用中综合考虑几种互补特征共同进行检索[3]-[5]。
二、算法描述
本文提取了黑白照片图像的灰度特征与纹理特征，实现基于图像内容的黑白照片检索。其中灰度特征提取了累加灰度直方图，纹理特征提取了Tamura纹理特征。
（一）累加灰度直方图特征提取
灰度直方图作为图像灰度特征的表示方法，相对于图像的以观察轴心的旋转以及幅度不大的平移和缩放等几何变换是不敏感的，灰度直方图对于图像质量的变化（如模糊）也不甚敏感。
对于灰度级为 范围的数字图像，直方图是离散函数：
（1）
这里的 是第k级灰度， 是图像中灰度级为 的像数的个数。
在全局直方图的基础上，可以进一步定义“累计颜色直方图”的概念，实验结果可以证明累计颜色直方图的效果要好于全局颜色直方图[6-7]。
图像的累加直方图也是一个一维的离散函数，即有：
k=0，1，…L-1；（2）
其中k代表图像的灰度取值，L是特征可取值的个数， 是图像中具有灰度值为k的像数的个数，N是图像像素的总数。
（二）Tamura纹理特征
基于人类对纹理的视觉感知心理学研究，Tamura等[8]提出了纹理特征的表达。以人类的主观心理度量作为标准，提出了六个基本的纹理特征，这些特征包括：粗糙度、对比度、方向度、线像度、规整度和粗糙度。目前比较普遍的使用粗糙度，对比度和方向度来计算特征，理论及公式如下：
1.粗糙度。通过观察组成图案的纹理基元，如果这些基元的尺寸较大，或有许多重复的基元，则给人总的印象是粗糙的。计算粗糙度步骤如下：
计算移动平均数（moving average），对于 的窗口，K的取值在之间，移动平均数为：
（3）
计算水平和垂直方向的偏差；
确定窗口大小：
（4）
（5）
计算平均窗口大小（w，h为图像的长和宽）：
（6）
2.对比度计算。对比度描述图像的明亮程度，它受黑白色或者不同的灰度阴影的影响，使用下面的等式来计算对比度：
（7）
其中 ： 是图像灰度的四阶中心矩，σ是图像灰度的标准方差。
3.方向度计算。方向性是一个全局的纹理特征，它描述纹理是如何沿着某些方向散布或集中的。一般来说，方向性与纹理基元的排列的规则有关，指图像里灰度值的方向，计算方向性需要以下三步：
计算梯度向量
需要计算每个像素处的梯度向量，该向量的模和方向分别定义如下：
（8）
（9）
和 分别是通过图像卷积图1的3*3的两个模版操作符得到的水平和垂直方向上的变化量。这两个模版是检测水平边缘的模板和检测垂直边缘的模板。
图 1 图像卷积图
Fig.1 The convolution chart of image
构造角度直方图
当所有像素的梯度向量都计算出来后，一个直方图 被构造来表达 值，该直方图首先对 的值域范围离散化为n个部分，然后统计每个像素中相应的模值大于给定域值的像素的数量，直方图对于明显的方向性的图像会表现出峰值，对于无明显方向的图像则表现得比较平坦。
计算方向性
图像的总体方向性可以通过计算直方图中峰值的尖锐程度获得，如公式（10）
（10）
上式中p代表直方图中的峰值， 为直方图中所有的峰值，对于某个峰值p， 代表峰值所包含的所有像素，而 是具有最高值的像素。
（三）基于多特征的图像检索
按上述方法提取黑白照片的灰度与纹理特征，然后通过PCA方法降维，最终生成特征向量。图像特征提取之后，使用特征向量的距离来衡量两幅图的相似性。欧氏距离是简单的距离公式，也是在 CBIR 中应用较广的距离公式。
欧氏距离：
（11）
欧氏距离是常用的距离公式，该理论认为图像特征各维是同等重要的。
图 2 典型的图像查询系统
Fig.2 Typical Image Retrieval System
如图2所示，本文的检索系统分为查询、特征提取、相似度匹配，结果反馈与验证5个部分。查询：主要提供用户UI，方便用户输入待检索图像；特征提取：利用上述特征提取方法提取用户输入图像的特征；相似度匹配：根据特征向量于数据库中其它图像计算相似度；结果反馈：将最相似的若干幅图像返回给用户；验证：由用户判断检索结果是否正确。
三、实验结果
本文收集了7个摄影主题，共680幅测试图像，135幅训练图像，训练图像与测试图像的类别分布如表1所示：
Table 1Black and white photograph dataset
表1黑白照片数据集
类别 训练样本数量（幅） 测试样本数量（幅）
房屋 96 18
车辆 100 20
风景 102 21
战争 84 17
静物 100 20
动物 98 19
人物 100 20
基于上述数据集，分别实验只由灰度特征、只由纹理特征与灰度、纹理组合特征实现的图像检索，得到实验结果如图3。
Fig 3Retrieval experiment results
图3检索实验结果
可见，基于多特征的图像检索较单一特征的图像检索有更高的查全率和查准率，较适用于黑白照片的检索应用。
四、结束语
本文针对黑白照片图像，提取颜色特征和纹理特征，实现基于多特征的图像检索。通过对实验结果可以看出，基于多特征的图像检索较单一特征的图像检索具有更高的查全率和查准率，较适用于黑白照片的检索应用。针对本文数据集，检索查准率在88%以上，可以为黑白照片管理系统提供应用支持。
参考文献：
[1]刘真,周淑秋.利用图像颜色特征与纹理特征进行图像检索[J].计算机工程与设计,2007,20:4952-4954
[2]章毓晋.基于内容的视觉信息检索[M].北京:科学出版社,2003
[3]诸薇娜,周昌乐,徐丹.基于颜色纹理的图像多特征检索技术在中医舌诊中的应用研究[J].中国图像图形学报,2005,10（8）:992-999
[4]肖靓,顾嗣扬.基于SVM综合利用颜色和纹理特征的图像分类和检索[J].通讯和计算机,2005,2（10）:16-20
[5]JainA.K.VailayaA.Image Retrieval using Color and Shape[J].Pattern Recognition,1996,29(8):1233-1244
[6]Szabolcs Sergy´an,Budapest Tech.Color Histogram Features Based Image Classification in Content-Based Image Retrieval Systems [C].IEEE Explore Restrictions apply,2008,1034:221-224
[7]Y.J.Zhang,Z.W.Liu,Y.He.Comparison and Improvement of Color-Based Image Retrieval Techniques [J].SPIE,1997,3312:371-382
[8]Ainhoa Llorente,Raghavan Manmatha，Stefan M.Rüger.Image retrieval using Markov Random Fields and global image features [C].In:9th ACM International Conference on Image and Video Retrieval 2010,243-250
关键词：图像检索；多特征；特征提取；灰度特征；纹理特征
中图分类号：TP751 文献标识码：A文章编号：1007-9599 (2011) 24-0000-02
Black and White Photographs Retrieval Based on Multi-characteristics
Li Dazhen
(Tianjin Heavy Equipment Engineering Co.,Ltd.,Tianjin300457,China)
Abstract:Black and white photograph is an early imaging modality,in which form many historic photos are preserved.With the development of information technology,black and white photographs can be collected and stored in a multimedia database.Image retrieval is the most common and most important requirement for a multimedia database.Image description and image feature extraction are the key technologies of image retrieval.In the paper,content-based image retrieval of black and white photographs is implemented based on the gray and texture features extraction. Experiments show that proposed method works possesses a high accuracy.
Keywords:Image retrieval;Multi-features;Feature extraction;Gray features;Texture features
一、相关工作
黑白照片是一种早期的成像方式，很多有历史意义的照片都以黑白照片的形式保存下来。随着信息技术的发展，黑白照片可以被收集存储于多媒体数据库中。图像检索是多媒体数据库中最普遍和最重要的要求，传统的图像检索基于文本方式，需要对图像数据库中的每一幅图像使用关键字或自由文本进行标引和著录。实际应用中经常需要根据图像内容进行图像检索，因此基于内容的检索技术（Content-Based Image Retrieval，简称CBIR）成为了人们研究的热点。
CBIR检索技术的核心是描述图像内容的可视特征提取，融合了图像理解和模式识别等技术，克服了传统检索方法的缺陷，具有很好的前景和应用价值。为了不断的完善图像检索技术，就需要对图像的特征提取进行更深入的研究，使得提取的特征既能够更加真实地反映人的主观认识，又方便与数学表达和索引[1]。基于内容的多特征组合图像检索是结合图像的颜色、纹理、形状、空间关系等多种图像特征，全面描述图像内容的检索方法[2]，在实际应用中综合考虑几种互补特征共同进行检索[3]-[5]。
二、算法描述
本文提取了黑白照片图像的灰度特征与纹理特征，实现基于图像内容的黑白照片检索。其中灰度特征提取了累加灰度直方图，纹理特征提取了Tamura纹理特征。
（一）累加灰度直方图特征提取
灰度直方图作为图像灰度特征的表示方法，相对于图像的以观察轴心的旋转以及幅度不大的平移和缩放等几何变换是不敏感的，灰度直方图对于图像质量的变化（如模糊）也不甚敏感。
对于灰度级为 范围的数字图像，直方图是离散函数：
（1）
这里的 是第k级灰度， 是图像中灰度级为 的像数的个数。
在全局直方图的基础上，可以进一步定义“累计颜色直方图”的概念，实验结果可以证明累计颜色直方图的效果要好于全局颜色直方图[6-7]。
图像的累加直方图也是一个一维的离散函数，即有：
k=0，1，…L-1；（2）
其中k代表图像的灰度取值，L是特征可取值的个数， 是图像中具有灰度值为k的像数的个数，N是图像像素的总数。
（二）Tamura纹理特征
基于人类对纹理的视觉感知心理学研究，Tamura等[8]提出了纹理特征的表达。以人类的主观心理度量作为标准，提出了六个基本的纹理特征，这些特征包括：粗糙度、对比度、方向度、线像度、规整度和粗糙度。目前比较普遍的使用粗糙度，对比度和方向度来计算特征，理论及公式如下：
1.粗糙度。通过观察组成图案的纹理基元，如果这些基元的尺寸较大，或有许多重复的基元，则给人总的印象是粗糙的。计算粗糙度步骤如下：
计算移动平均数（moving average），对于 的窗口，K的取值在之间，移动平均数为：
（3）
计算水平和垂直方向的偏差；
确定窗口大小：
（4）
（5）
计算平均窗口大小（w，h为图像的长和宽）：
（6）
2.对比度计算。对比度描述图像的明亮程度，它受黑白色或者不同的灰度阴影的影响，使用下面的等式来计算对比度：
（7）
其中 ： 是图像灰度的四阶中心矩，σ是图像灰度的标准方差。
3.方向度计算。方向性是一个全局的纹理特征，它描述纹理是如何沿着某些方向散布或集中的。一般来说，方向性与纹理基元的排列的规则有关，指图像里灰度值的方向，计算方向性需要以下三步：
计算梯度向量
需要计算每个像素处的梯度向量，该向量的模和方向分别定义如下：
（8）
（9）
和 分别是通过图像卷积图1的3*3的两个模版操作符得到的水平和垂直方向上的变化量。这两个模版是检测水平边缘的模板和检测垂直边缘的模板。
图 1 图像卷积图
Fig.1 The convolution chart of image
构造角度直方图
当所有像素的梯度向量都计算出来后，一个直方图 被构造来表达 值，该直方图首先对 的值域范围离散化为n个部分，然后统计每个像素中相应的模值大于给定域值的像素的数量，直方图对于明显的方向性的图像会表现出峰值，对于无明显方向的图像则表现得比较平坦。
计算方向性
图像的总体方向性可以通过计算直方图中峰值的尖锐程度获得，如公式（10）
（10）
上式中p代表直方图中的峰值， 为直方图中所有的峰值，对于某个峰值p， 代表峰值所包含的所有像素，而 是具有最高值的像素。
（三）基于多特征的图像检索
按上述方法提取黑白照片的灰度与纹理特征，然后通过PCA方法降维，最终生成特征向量。图像特征提取之后，使用特征向量的距离来衡量两幅图的相似性。欧氏距离是简单的距离公式，也是在 CBIR 中应用较广的距离公式。
欧氏距离：
（11）
欧氏距离是常用的距离公式，该理论认为图像特征各维是同等重要的。
图 2 典型的图像查询系统
Fig.2 Typical Image Retrieval System
如图2所示，本文的检索系统分为查询、特征提取、相似度匹配，结果反馈与验证5个部分。查询：主要提供用户UI，方便用户输入待检索图像；特征提取：利用上述特征提取方法提取用户输入图像的特征；相似度匹配：根据特征向量于数据库中其它图像计算相似度；结果反馈：将最相似的若干幅图像返回给用户；验证：由用户判断检索结果是否正确。
三、实验结果
本文收集了7个摄影主题，共680幅测试图像，135幅训练图像，训练图像与测试图像的类别分布如表1所示：
Table 1Black and white photograph dataset
表1黑白照片数据集
类别 训练样本数量（幅） 测试样本数量（幅）
房屋 96 18
车辆 100 20
风景 102 21
战争 84 17
静物 100 20
动物 98 19
人物 100 20
基于上述数据集，分别实验只由灰度特征、只由纹理特征与灰度、纹理组合特征实现的图像检索，得到实验结果如图3。
Fig 3Retrieval experiment results
图3检索实验结果
可见，基于多特征的图像检索较单一特征的图像检索有更高的查全率和查准率，较适用于黑白照片的检索应用。
四、结束语
本文针对黑白照片图像，提取颜色特征和纹理特征，实现基于多特征的图像检索。通过对实验结果可以看出，基于多特征的图像检索较单一特征的图像检索具有更高的查全率和查准率，较适用于黑白照片的检索应用。针对本文数据集，检索查准率在88%以上，可以为黑白照片管理系统提供应用支持。
参考文献：
[1]刘真,周淑秋.利用图像颜色特征与纹理特征进行图像检索[J].计算机工程与设计,2007,20:4952-4954
[2]章毓晋.基于内容的视觉信息检索[M].北京:科学出版社,2003
[3]诸薇娜,周昌乐,徐丹.基于颜色纹理的图像多特征检索技术在中医舌诊中的应用研究[J].中国图像图形学报,2005,10（8）:992-999
[4]肖靓,顾嗣扬.基于SVM综合利用颜色和纹理特征的图像分类和检索[J].通讯和计算机,2005,2（10）:16-20
[5]JainA.K.VailayaA.Image Retrieval using Color and Shape[J].Pattern Recognition,1996,29(8):1233-1244
[6]Szabolcs Sergy´an,Budapest Tech.Color Histogram Features Based Image Classification in Content-Based Image Retrieval Systems [C].IEEE Explore Restrictions apply,2008,1034:221-224
[7]Y.J.Zhang,Z.W.Liu,Y.He.Comparison and Improvement of Color-Based Image Retrieval Techniques [J].SPIE,1997,3312:371-382
[8]Ainhoa Llorente,Raghavan Manmatha，Stefan M.Rüger.Image retrieval using Markov Random Fields and global image features [C].In:9th ACM International Conference on Image and Video Retrieval 2010,243-250