论文部分内容阅读
随着计算机技术的飞速发展和广泛应用,医疗行业信息化进程不断加速,医疗数据量呈现几何倍数增长,据统计,到2020年,医疗数据将急剧增长到35ZB,相当于2009年的44倍。海量的医疗数据和繁杂的数据类型给整个医疗行业存储和处理带来了巨大的压力。与此同时,人们对医疗数据的关注度越来越高,如何有效地存储和处理海量医疗数据,为医生和患者提供高效的数据服务和数据支持已成为亟待解决的问题。云计算的出现为处理海量医疗数据提供了一种新思路。作为云计算技术的重要组成部分,开源框架Hadoop提供了海量数据分布式存储和计算的平台,本文针对海量医疗数据处理和分析中存在的问题,主要研究内容及所做工作包括以下方面:1)研究Hadoop云平台的核心组件HDFS和Map Reduce,针对其存储大量小文件时存在的内存瓶颈以及文件检索效率较低问题,提出了一种适合大量医疗小文件存储的方法。通过引入文件预处理模块,将大量小文件合并成一个序列文件,并将其所对应的信息写入扩展索引,能够有效地减少集群中文件的数量从而提高集群的内存使用;通过使用扩展索引,在确保用户信息安全以及准确定位所要检索文件的情况下,能够有效提高文件的检索速度。通过实验表明,该方法能够有效解决Hadoop存储小文件时存在的问题。2)研究Apriori关联规则算法,分析医疗数据间的关联关系,针对算法存在的中间结果规模过大、扫描时间过长的缺点,对该算法进行了改进并将改进后的算法移植到Hadoop平台。根据映射和规约的思想,提出了Apriori算法项集数字化映射和排序的方法,方便数据传输和项集匹配;采用基模式和生成模式的方法来生成超集,能够提高超集生成效率,同时该方法也能有效地提高剪枝效率。将改进后Apriori算法移植到MapReduce框架,使其能够很好地适应高并发运行环境。通过实验表明,移植后的Apriori算法具有良好的并行扩展能力。3)将医疗小文件存储和医疗数据分析相结合,设计实现了基于Hadoop的医疗数据存储与分析系统,介绍了系统主要功能模块所提供的功能。详细介绍了搭建Hadoop平台的过程,为系统功能实现提供保证。最终完成的系统为用户提供了文件上传、文件查找、疾病及其并发症间关联关系分析用户界面,并通过这些用户界面对系统的相关功能进行了验证,结果证明了该系统相关功能的可靠性。