Hadoop日志压缩算法的研究与实现

来源 :现代计算机:上下旬 | 被引量 : 0次 | 上传用户:dlcad
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Hadoop集群由于规模增大、运行时间增长使得日志量持续增加,导致存储压力过大。为了节约存储资源,研究并实现一种高效的Hadoop日志无损压缩算法。实验结果表明,该压缩算法与传统的LZW压缩算法的压缩比基本相同,但压缩和解压操作的耗时均小于LZW压缩算法且受文件大小影响更小。
其他文献
为了更好地适应教学发展,优化教学效果,立足“互联网+”时代背景,结合国内外高校微课的研究现状和发展情况,分析微课的应用前景,为高校教学方式改革制定制定改革策略,促进互联网与教
运用数值仿真和模型试验验证相结合的方法,研究了多箱室结构在内部爆炸载荷作用下的损伤特性.在内爆作用下,箱体呈现出大挠曲变形、板中心冲切破口、箱体角隅处破坏、板边缘撕裂以及板近似直剪破坏等5种破坏模式.在箱室内爆模型试验中观测到的破坏模式与数值模拟的破坏模式吻合较好.根据量纲分析理论,提出了一个适用于内爆响应分析的无量纲数,并将无量纲数应用于内爆破坏模式的分析中,结合大量工况的数值模拟结果,得到了破
采用烟熏、火烧灰两种因素的单因素处理、双因素交互的处理方法,对苍术(Atractylodes lancea)、黄耆(Astragalus membranaceus)、白芷(Angelica dahurica)种子进行处理(烟熏
为解决机载脉冲多普勒(PD)雷达对机动弱目标进行检测与跟踪的问题,构造了一种基于抛物线随机Hough变换(RPHT)的检测前跟踪(TBD)算法。该算法通过模糊区间对目标的模糊量测进行距离
为了提高天幕靶系统测试精度和可靠性,探索测试产生各种干扰噪声如弹头激波、弹底激波、蚊虫飞鸟、振动等干扰因素的影响规律,利用Hopfield自联想神经网络的方法,识别并剔除
本文结合新经济视角分析当前企业财务管理会计信息化的 现状,并在此基础上提出企业完善和优化财务管理会计信息化的对 策。
为了探究荒漠植物对干旱胁迫的生理生态响应,特别是其叶片在长期缺水条件下的水分利用策略,以塔里木河下游荒漠河岸林建群树种胡杨(Populus euphratica Oliv.)为研究对象,测
探究式学习是课程改革所提倡的新的学习方式,它与自主学习、合作学习相比,其重心是培养探索、研究、求异精神,即“不仅包括认识方面的”,还有“态度与价值观的改变、丰富与提升,所
绝热剪切带是材料在高速变形破坏的重要形式之一,本文利用分离式霍普金森压杆技术对TA2钛合金的动态力学性能及绝热剪切破坏特性进行研究,实验得到了TA2钛合金动态本构及参数
针对导引头隔离度影响多约束制导系统稳定性与制导精度的问题,推导了一种多约束制导律(GLMC),在此基础上构建了考虑导引头隔离度的多约束制导模型。研究了导引头隔离度和制导参