论文部分内容阅读
在过去的数十年里,计算机与网络技术得到了飞速发展,极大地推动了社会各方面的发展。计算模式经历了大型机时代的终端-主机模式,个人计算机时代的客户机-服务器模式,以及目前互联网时代的浏览器-服务器模式,直到最近几年的云计算模式。云计算是一种新兴的计算模式,它是并行计算、分布式计算、网格计算的综合发展,以简单、透明的服务的形式提供无限制的计算资源。云计算的基本原理是将计算、存储及软硬件等服务分布在非本地的大量计算机构成的资源池上,用户通过网络获得相应的服务,从而有效的提高资源利用率,实现了按需获取,按时收费。虚拟化技术、分布式并行计算、分布式存储以及分布式数据管理是实现云计算的关键技术。随着图像获取和图像存储技术的迅速发展,使得我们能够获得大量有用的图像数据,如卫星遥感图像数据、医学图像数据等。图像数据挖掘就是对这些有用的图像进行分析并从中提取有用的信息。如何对这些日益增多的图像进行有效的存储和快速的数据挖掘,成为我们面临的最大问题。本文尝试利用Hadoop云平台来进行海量数字图像的数据挖掘。借助于Hadoop的分布式文件系统HDFS与分布式并行计算框架MapReduce,在现有的数据挖掘和数字图像数据挖掘的理论与技术基础上,来实现海量数字图像数据挖掘,可以解决上述的问题。本文具体完成了以下工作:1、总结了云计算的相关知识及发展历程,分析了Hadoop实现的开源云平台。对现有的数据挖掘与数字图像数据挖掘的理论与技术进行归纳和总结。2、设计了基于Hadoop的MapReduce并行计算框架实现数字图像并行化处理的键值对的类型,和数字图像文件的输入与输出格式。通过实验证明了基于Hadoop的MapReduce可以实现数字图像的并行化处理。3、设计了如何利用Hadoop云平台来构建海量数字图像数据挖掘的系统,并对该系统进行了展望。