论文部分内容阅读
【摘 要】多媒体教学在教学中的广泛应用,需要大量图像等数字化学习资源,由此产生了资源管理等问题,基于内容的图像检索对学习资源的图像查找有重要的意义。本文研究的主要是检索算法在数字化学习资源中的应用。
【关键词】基于内容的图像检索 数字化学习资源
一、引言
计算机在教学中的应用越来越广泛,多媒体形式的数字化学习资源也越来越丰富。图像作为多媒体的重要组成部分,其生动的形象、易于理解的表现形式,成为在教育等多方面广泛应用的媒体形式;无论是专业设计者,还是教学工作者,查找和使用图像资源都成为一种需求。
为了对图像进行有效的组织和管理,从大量的图像中选取合适的图像,基于内容的图像检索成为计算机及其相关学科的研究热点;其对数字化学习资源中的图像资源具有很大的应用空间[1]。教学工作者在对图像资源的应用中存在利用普遍而单一的关键词检索时,不能够准确地检索出需要的图像的问题。本文在对数字化学习资源的现状分析的基础上,着重对数字图像的检索进行研究,引入基于内容的图像检索技术,并通过实验进行验证。
二、数字化学习资源现状
教育信息化的深入发展[2],各种数字化学习资源库不断建立,并在教学的实践活动中发挥着越来越重要的作用。作为数字化学习资源的重要组成部分——图像资源,其在教学中的应用相当广泛。图像具有以下特点:
①直观形象。图像可以将客观事物真实地展现在眼前,供不同目的、不同能力、不同水平的人去观察、理解。
②易懂。人的视觉系统有着瞬间获得图像、分析图像、识别图像与理解图像的能力。只要将一副图像呈现在人的眼前,就会立即得到图像的信息,从而具有一目了然的效果。
③信息量大。图像信息量大有两层含义:其一是“一图胜千言”,图像本身所携带的信息远比文字、声音信息丰富;其二是图像数据量大,需要占据较大的存储空间和较长的传输时间。
图像是视觉的基础,是自然景物的客观反映,是认识世界的知识源泉。“图”是物体反射或透射光的分布,“像”是人的视觉所接受的图在人脑中所形成的印象或认识。因此,作为数字化学习资源的一个重要组成部分,图像资源在教学中的作用是相当重要的。
目前针对图像的检索主要是在对其进行文本标注的基础上[3],进行基于关键字的检索,主要是从数据库角度进行的,沿用了传统文本检索技术,回避了对图像可视化元素的分析,而是从图像名称等方面标引图像。利用这些信息,有助于实现在一定程度上避开可视化元素的识别达到图像分析的目的,而且实现较简单,更符合人们的检索习惯,同时可以充分结合已有的成熟文本检索技术和网络搜索引擎技术,减少许多对图像内容本身的复杂考虑。但这种检索方法存在人工标注的工作量大,对图像注解时存在主观性和不精确性而导致检索匹配失误等问题。针对以上存在的问题,基于内容的图像检索被提出,使图像检索更有效。
三、基于内容的图像检索(content-based image retrieval,CBIR)
基于内容的图像检索是指直接根据图像内容(如颜色)进行的各种特征检索,能从图像库中直接找到具有指定特征或含有特定内容的图像,选择合适的图像数据模型表示图像内容特征是进行基于内容检索的基础。
1.纹理特征
纹理特征提取的一种有效方法是以灰度级的空间相关矩阵即灰度共生矩阵为基础,进行二次特征提取。灰度共生矩阵被定义为从灰度为i的像素,离开某个固定位置关系的像素上的灰度为j的概率[4],即P(i,j)=集合{(x,y)|f(x,y)=i,f(x+DX,y+DY)=j;x,y=0,1,2,……,N-1}的元素个数
i,j=0,1,2,……,L-1 ①
其中,x,y是图像中像素坐标,f(x,y)是该像素的灰度级,L是灰度级数目,DX,DY是偏移量。在实际计算操作中,反映固定的位置关系的参数DX,DY的选择既包括偏移量,又包括方向的选择。为减少计算量,我们只取0°→180°,45°→225°,90°→270°,135°→315°四个方向。因此,DX,DY的选择只取以下四种值:(DX=d,DY=0),(DX=d,DY=d),(DX=0,DY=d),(DX=-d,DY=d)作其灰度共生矩阵,分别求取其特征参数(Q1,Q2,Q3,Q4),然后计算每个特征参数的四个方向的均值。用最后得到的结果(μ1,σ12,μ2,σ22,μ3,σ32,μ4,σ42)作为一幅图像的特征向量。
2.高斯密度特征
对于形状主要是采用sobel算子[5]提取图像的边缘。图像的高斯密度特征的提取主要是将一幅图像表示在极坐标中,获取
3.图像相似度计算——最大相关最小距离(MCMD)法
图像相似度计算采用循环卷积的概念计算两幅图像的特征向量的相关系数,即将一个向量的28个分量放在一个圆上进行旋转,每旋转一次,就和另一个向量计算一次相关系数,最后取出所得的28个相关系数中最大的一个作为查询图像与图像库中一幅图像的特征向量的相关系数。根据上述的方法,可以计算出查询图像和图像库中的所有图像(假设有n幅)的特征向量的相关系数,得到P={P1,P2,…,Pn-1,Pn},从所求的相关系数序列P中找出最大的48个相关系数所对应的图像。再利用这48幅图像的特征向量,根据式⑥计算这48幅图像的特征向量和查询图像的特征向量之间的距离。最后选取最小的12个距离所对应的12幅图像作为图像检索的最后结果。
其中,nc是检索结果中包含的查询图像的相似图像数,nm是未检索出的相似图像数,nq是与查询图像相似的图像总数。查全率越高,效率越好。
将本文算法、分别和颜色和纹理结合算法(算法A)及将图像灰度级量化为32个等级后的纹理特征算法(算法B)进行比较。三种算法对图像的平均检索时间,对图像的查准率、查全率见表1。从表1可以看出:
①本文算法检索速度最快;
②本文算法的查全率、查准率比A,B算法有了明显的提高;
③图像采用多个特征的检索图像可以提高检索精度,即提高整个系统的查全率、查准率。
图1是一个具體的检索例子,其中左边第一竖为查询图像,第一行是用本文算法的结果,第二、三行分别是用算法A、B的结果,从中可以看出,本文算法的检索结果较好,而其它两种算法都出现了干扰图像。
五、结论
本文提出将基于内容的图像检索引入到数字化学习资源中,从实验结果表明能够较为准确地检索到需要的图像资源。当然,基于内容的图像检索相对于常用的基于关键词的图像检索具有自身的不足,也有自身的优点,基于内容的图像检索能够丰富检索的方式、提高检索的准确性和效率。下一步工作将在数字化学习资源管理中进行相关的实验,收集使用者的意见并对算法进行改进,使其能够更好地在数字化学习资源中发挥作用。■
参考文献:
[1]朱学芳.数字图像信息资源开发及管理.中国图书馆学报,2002(6):36-38
[2]张先增、陈峰,教学资源库管理系统的设计与应用.中国电化教育,2003(11):51-52
[3] A.W.M. Smeulders, M.Worring, S.Santini, A.Gupta, R.Jain, Content-based image retrievals at the end of the early years[J], IEEE Trans. Pattern Anal. Mach. Intell. 22(12),2000:1349-1380.
[4]阮秋琦.数字图像处理.北京:电子工业出版社,2005
[5]王剑峰,肖国强.综合距离和相关性的图像检索算法.计算机工程与设计,2007(6)
【关键词】基于内容的图像检索 数字化学习资源
一、引言
计算机在教学中的应用越来越广泛,多媒体形式的数字化学习资源也越来越丰富。图像作为多媒体的重要组成部分,其生动的形象、易于理解的表现形式,成为在教育等多方面广泛应用的媒体形式;无论是专业设计者,还是教学工作者,查找和使用图像资源都成为一种需求。
为了对图像进行有效的组织和管理,从大量的图像中选取合适的图像,基于内容的图像检索成为计算机及其相关学科的研究热点;其对数字化学习资源中的图像资源具有很大的应用空间[1]。教学工作者在对图像资源的应用中存在利用普遍而单一的关键词检索时,不能够准确地检索出需要的图像的问题。本文在对数字化学习资源的现状分析的基础上,着重对数字图像的检索进行研究,引入基于内容的图像检索技术,并通过实验进行验证。
二、数字化学习资源现状
教育信息化的深入发展[2],各种数字化学习资源库不断建立,并在教学的实践活动中发挥着越来越重要的作用。作为数字化学习资源的重要组成部分——图像资源,其在教学中的应用相当广泛。图像具有以下特点:
①直观形象。图像可以将客观事物真实地展现在眼前,供不同目的、不同能力、不同水平的人去观察、理解。
②易懂。人的视觉系统有着瞬间获得图像、分析图像、识别图像与理解图像的能力。只要将一副图像呈现在人的眼前,就会立即得到图像的信息,从而具有一目了然的效果。
③信息量大。图像信息量大有两层含义:其一是“一图胜千言”,图像本身所携带的信息远比文字、声音信息丰富;其二是图像数据量大,需要占据较大的存储空间和较长的传输时间。
图像是视觉的基础,是自然景物的客观反映,是认识世界的知识源泉。“图”是物体反射或透射光的分布,“像”是人的视觉所接受的图在人脑中所形成的印象或认识。因此,作为数字化学习资源的一个重要组成部分,图像资源在教学中的作用是相当重要的。
目前针对图像的检索主要是在对其进行文本标注的基础上[3],进行基于关键字的检索,主要是从数据库角度进行的,沿用了传统文本检索技术,回避了对图像可视化元素的分析,而是从图像名称等方面标引图像。利用这些信息,有助于实现在一定程度上避开可视化元素的识别达到图像分析的目的,而且实现较简单,更符合人们的检索习惯,同时可以充分结合已有的成熟文本检索技术和网络搜索引擎技术,减少许多对图像内容本身的复杂考虑。但这种检索方法存在人工标注的工作量大,对图像注解时存在主观性和不精确性而导致检索匹配失误等问题。针对以上存在的问题,基于内容的图像检索被提出,使图像检索更有效。
三、基于内容的图像检索(content-based image retrieval,CBIR)
基于内容的图像检索是指直接根据图像内容(如颜色)进行的各种特征检索,能从图像库中直接找到具有指定特征或含有特定内容的图像,选择合适的图像数据模型表示图像内容特征是进行基于内容检索的基础。
1.纹理特征
纹理特征提取的一种有效方法是以灰度级的空间相关矩阵即灰度共生矩阵为基础,进行二次特征提取。灰度共生矩阵被定义为从灰度为i的像素,离开某个固定位置关系的像素上的灰度为j的概率[4],即P(i,j)=集合{(x,y)|f(x,y)=i,f(x+DX,y+DY)=j;x,y=0,1,2,……,N-1}的元素个数
i,j=0,1,2,……,L-1 ①
其中,x,y是图像中像素坐标,f(x,y)是该像素的灰度级,L是灰度级数目,DX,DY是偏移量。在实际计算操作中,反映固定的位置关系的参数DX,DY的选择既包括偏移量,又包括方向的选择。为减少计算量,我们只取0°→180°,45°→225°,90°→270°,135°→315°四个方向。因此,DX,DY的选择只取以下四种值:(DX=d,DY=0),(DX=d,DY=d),(DX=0,DY=d),(DX=-d,DY=d)作其灰度共生矩阵,分别求取其特征参数(Q1,Q2,Q3,Q4),然后计算每个特征参数的四个方向的均值。用最后得到的结果(μ1,σ12,μ2,σ22,μ3,σ32,μ4,σ42)作为一幅图像的特征向量。
2.高斯密度特征
对于形状主要是采用sobel算子[5]提取图像的边缘。图像的高斯密度特征的提取主要是将一幅图像表示在极坐标中,获取
3.图像相似度计算——最大相关最小距离(MCMD)法
图像相似度计算采用循环卷积的概念计算两幅图像的特征向量的相关系数,即将一个向量的28个分量放在一个圆上进行旋转,每旋转一次,就和另一个向量计算一次相关系数,最后取出所得的28个相关系数中最大的一个作为查询图像与图像库中一幅图像的特征向量的相关系数。根据上述的方法,可以计算出查询图像和图像库中的所有图像(假设有n幅)的特征向量的相关系数,得到P={P1,P2,…,Pn-1,Pn},从所求的相关系数序列P中找出最大的48个相关系数所对应的图像。再利用这48幅图像的特征向量,根据式⑥计算这48幅图像的特征向量和查询图像的特征向量之间的距离。最后选取最小的12个距离所对应的12幅图像作为图像检索的最后结果。
其中,nc是检索结果中包含的查询图像的相似图像数,nm是未检索出的相似图像数,nq是与查询图像相似的图像总数。查全率越高,效率越好。
将本文算法、分别和颜色和纹理结合算法(算法A)及将图像灰度级量化为32个等级后的纹理特征算法(算法B)进行比较。三种算法对图像的平均检索时间,对图像的查准率、查全率见表1。从表1可以看出:
①本文算法检索速度最快;
②本文算法的查全率、查准率比A,B算法有了明显的提高;
③图像采用多个特征的检索图像可以提高检索精度,即提高整个系统的查全率、查准率。
图1是一个具體的检索例子,其中左边第一竖为查询图像,第一行是用本文算法的结果,第二、三行分别是用算法A、B的结果,从中可以看出,本文算法的检索结果较好,而其它两种算法都出现了干扰图像。
五、结论
本文提出将基于内容的图像检索引入到数字化学习资源中,从实验结果表明能够较为准确地检索到需要的图像资源。当然,基于内容的图像检索相对于常用的基于关键词的图像检索具有自身的不足,也有自身的优点,基于内容的图像检索能够丰富检索的方式、提高检索的准确性和效率。下一步工作将在数字化学习资源管理中进行相关的实验,收集使用者的意见并对算法进行改进,使其能够更好地在数字化学习资源中发挥作用。■
参考文献:
[1]朱学芳.数字图像信息资源开发及管理.中国图书馆学报,2002(6):36-38
[2]张先增、陈峰,教学资源库管理系统的设计与应用.中国电化教育,2003(11):51-52
[3] A.W.M. Smeulders, M.Worring, S.Santini, A.Gupta, R.Jain, Content-based image retrievals at the end of the early years[J], IEEE Trans. Pattern Anal. Mach. Intell. 22(12),2000:1349-1380.
[4]阮秋琦.数字图像处理.北京:电子工业出版社,2005
[5]王剑峰,肖国强.综合距离和相关性的图像检索算法.计算机工程与设计,2007(6)