论文部分内容阅读
在不确定性知识表示和推理领域,贝叶斯网(BN, Bayesian Network)作为一种重要的概率图模型,基于概率推理的图形化网络,是统计型不确定性知识表示和推理的基本框架。从目前不确定性知识表示的现有方法和技术来看,传统的贝叶斯网学习停滞在单机环境,当从数据密集型数据中学习BN时,出现了如数据存储能力低下、数据扫描速度慢、计算速度慢、学习数据不够灵活等问题,因此,如何从数据密集型数据中学习BN具有重要的研究意义。近年来,随着数据密集型计算的发展,其在处理海量、快速变化、分布和异构的数据方面,已经取得了一些重要的成果,这为面向数据密集型计算的概率图模型提供了一定的技术支撑。同时,随着云计算技术应用的不断扩展,人们日益关注并研究了云计算环境下数据密集型数据的管理和分析,同时Hadoop作为一种重要的云计算平台,其HBase云数据库具备海量数据的存储能力,而MapReduce编程模式能够快速的处理海量数据,从而使得利用Hadoop云计算平台从海量数据中学习BN成为可能。以Hadoop为云平台,传统BN为支撑理论,为实现海量数据的BN学习,本文的主要完成了面向数据密集型的概率图模型构建方法及实现的相关工作,其中包括数据预处理、BN结构学习、BN存储三个部分,具体如下:·基于MapReduce的数据预处理,我们改善了数据存储的方式。对海量数据先以MapReduce进行统计,之后再存储于HBase云数据库中,有效的压缩了数据存储量。同时,从HBase中读取压缩后的海量数据样本,利用MapReduce快速计算出构建BN所需的边缘概率值,结果存储HBase中,为后续的BN学习提供概率表支撑。·基于MapReduce的BN结构学习,我们分析并拓展了传统BN构建的爬山算法、最小描述长度(MDL, Minimal Description Length)评分,并使其适用于Hadoop平台,从而能够快速、高效地进行BN的学习。·基于HBase的BN存储机制,我们设计了特定的BN存储结构,同时计算好BN对应条件概率表(CPT,Conditional Probability Table),存储于HBase中,为后续的贝叶斯网推理提供技术支撑。