TB级海量数据实时加载技术的研究与实现

来源 :第八届全国信息隐藏与多媒体安全学术大会暨湖南省计算机学会第十一届学术年会(CIHW 2009) | 被引量 : 0次 | 上传用户:mnbv808
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络和通信技术的不断发展,在大规模科学计算中间结果的保存和处理、基于Internet信息的分析和研究、实时监控系统信息的存储和处理等诸多应用领域,都产生了TB级的海量数据.数据规模的不断增加以及实时的海量数据加载要求对传统的数据库技术提出了新的挑战.设计并实现了一个面向实时Internet监控信息的海量数据实时加栽系统IMIL(Internet monitoring informationloader),包括可扩展、高度容错的硬件体系结构,使用SQL*Loader以及交换分区机制的高效批量加栽算法以及优化的并行调度机制.性能测试显示,这些海量数据加栽及优化技术使得数据加载速度由每天2.2亿条提高到12亿条,10个Cluster同时工作时峰值数据加载速度达到每天6TB.IMIL系统对需要实时加栽TB级海量数据的大规模复杂数据库系统具有重要的参考和借鉴价值.
其他文献
入库面源污染控制生态建设是可行的水质及水生态保护方案,也是解决水库富营养化威胁途径之一。本文以出山店水库为例对水库面源污染控制生态建设进行分析,为规划新建水库的面源
为提高对马兜铃酸肾病患者肾移植术后并发泌尿系肿瘤高危致病因素的认识,将有关资料报告如下。对象与方法一、一般资料2001年1月至2005年12月行同种肾移植术528例,其中马兜铃
传统的叶轮给煤机卸煤方式,不仅给值班人员带来较多工作量,且会造成叶轮给煤机在无煤区域运行,频率设定不合理,增加叶轮给煤机自身能耗。本文设计了一种基于图像处理的叶轮给
地震时,楼梯是重要的逃生通道.但关于地震作用下楼梯与框架共同工作方面的研究还很少,文章采用结构有限元软件Midas/Gen,对一个6层钢筋混凝土现浇板式楼梯框架办公楼模型进行
通过对我院肿瘤科34例恶性肿瘤患者在化疗期间出现低钾血症的病因及治疗方法分析,提出了相应的治疗措施和注意事项,为改善患者基础疾病的治疗效果提供了有效帮助。
马钱子系马钱科植物马钱(Strychnos nux-Vomica L.)的成熟种子,为较常用中药,原名番木鳖,始载于本草纲目。马钱子有剧毒,中医习用制马钱子(即炮制过的)散血热,消肿毒,主治伤
罚金函数是保险公司破产前瞬间盈余和破产时赤字的函数,前人在不变利率强度情况下,对罚金折现期望作了研究。本文则在经强度带有Poisson跳的情况下,对罚金折现期望作了更深入的研究,并推
目的研究多通道微创经皮肾镜取石术治疗复杂性肾结石患者的手术护理效果。方法方便选取该院2017年3月—2018年3月进行多通道微创经皮肾镜取石术的患者60例,采取随机抽选方式
近日,记者在第90届全国糖酒商品交易会上看到,立志于打造“中华第一酥”的四川特色食品--黄老五花生酥被众多客商竞相抢购,短短1个小时内,1000余件黄老五花生酥便销售一空,再次在
近年来.随着城市立体开发不断发展,建设了大量地铁、地下购物中心、地下停车场和地下公共设施。然而.城市地下空间在使用人数越来越多、使用频率越来越高的情况下.其安全防范和管