随着互联网技术的飞速发展,生物工程、数字广播、高清电视、航空航天和国防工业等领域每天产生海量的数据需要存储和处理,从而给计算机的磁盘存储和网络传输性能带来了巨大的挑战。对海量数据进行压缩可以节约存储空间和提升网络传输速度,因此受到了越来越多的关注。本文首先研究了目前主流的数据压缩算法以及它们的压缩原理。其中哈夫曼算法因其压缩效率高、编码速度快、易于实现等特点,在数据压缩领域得到了广泛的应用。针对哈夫曼算法缺少上下文之间的关系分析,从而压缩后的数据冗余较大、占用磁盘空间较多等问题,本文提出了一种基于马尔可夫链的哈夫曼数据压缩算法,减少了传统哈夫曼算法的平均编码长度,取得了较好的压缩效果。本算法首先利用马尔可夫链模型探索待压缩数据的上下文关系,把待压缩数据的每个字符作为一个马尔可夫链状态,统计每个状态出现的频率及它们之间转移的次数;然后根据统计结果计算转移概率矩阵,对待压缩的数据进行上下文的相关性判断;最后对有关联的上下文进行合并压缩从而取得较好的压缩效果。当数据量较大时,由于单机节点对数据的处理能力不足,导致无法充分发挥数据压缩算法的效果,因此将本文提出的数据压缩算法移植到HADOOP分布式系统中实现对数据的并行压缩,从而缩短了数据压缩的时间,减少了数据占用的存储空间,进一步加快了数据在网络中的传输速度。