【摘 要】
：
大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化和软件系统开源化特点.针对当前传统数据库在对大数据进行分析时系统性能严重下降、计算效率提升有限的问题,
【机 构】
：
东华大学计算机科学与技术学院,浙江财经大学
【基金项目】
：
国家自然科学基金项目(61103046);中央高校基本科研业务费专项资金项目(东华大学“励志计划”项目(B201312));浙江省教育厅科研基金项目(Y201225326,Y201432374)
论文部分内容阅读
大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化和软件系统开源化特点.针对当前传统数据库在对大数据进行分析时系统性能严重下降、计算效率提升有限的问题,提出一种基于列存储的大数据分析系统物化策略(materialization strategies in MapReduce based on column-store,MSMC).首先,通过引入MapReduce物化代价估计模型,深入分析影响物化效率的各个因素.在此基础上设计了MapReduce分布式环境下的列存储文件格式(MapReduce column-store file,MCF),并在数据加载过程中采用协同定位策略实现对物化数据的存储优化.其次,分别针对不同的物化时机,构建了MapReduce早期物化策略(MapReduce early materialization strategy,MEMS)、MapReduce延迟物化策略(MapReduce late materialization strategy,MLMS)和MapReduce混合物化策略(MapReduce early-late materialization strategy,MELMS).利用自适应物化调整策略对其做了进一步优化.实验结果在证明算法有效的同时,也显示出算法在存储空间和负载能力上都有很好的表现.
其他文献
幼儿园自制玩教具作为幼儿园玩教具的重要补充,越来越受到人们的关注。通过问卷调查法、访谈法和观察法,对自制玩教具在幼儿园教学活动中的使用情况进行研究,主要从幼儿园教
以安强煤矿2202采煤工作面运输巷为背景,研究高水巷旁充填沿空留巷技术的实践应用。论述了充填巷道的一次、二次的支护设计,分析了巷旁充填参数的设计与选取,对工作面采煤及
飞行物体的轨迹预测和拦截回击对体育、军事、工业等领域均具有重要的研究意义和应用价值,其中涉及的目标感知、运动跟踪和建模、动作决策、运动规划和执行也是机器人系统的
<正>寻寻觅觅,找找查查,探探索索求求。乍懂还非时候,最难将息。三言两语问询,怎敌他巧舌如簧!迷惘中,貌似了然,却是雾里看花。满世界保险名目堆积,如今有谁堪质询?硬条款更
在应对具有挑战性的慢性病医护时,医疗健康信息的分享提高了病人自我管理的效果。与传统系统相比,云计算有潜力提供更有想象力的长期解决方案。然而,健康信息的分享仍旧存在
<正>虽然肥胖与糖尿病和冠状动脉疾病的风险之间的关系已经众所周知,但肥胖对癌症发病率和死亡率的影响尚未明确。肥胖与乳腺癌的风险:(1)绝经前:BMI与乳腺癌风险呈负相关,在
多媒体教学是一种新型现代化教学方式,使我们的英语教学形式可以多样化。多媒体教学具有形象性、新颖性、直观性、丰富性等特点,能激发学生的学习兴趣。但因为多媒体教学是一
研究了不同结构化控制剂搭配、硫化剂和减振填料用量对硅橡胶性能的影响，硫化时间、升温间隔对硅橡胶硫化效果的影响，脱模温度、放气量、工装设备对硅橡胶制品质量的影响。结果
文章介绍了近几年察布查尔县蝗虫发生的原因及采取的综合防治措施。