分布式环境中高性能复合运算缓存技术研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:scube135
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于关系数据库的分布式数据集成系统使用分布在网络中不同位置的关系数据库数据源提供对用户查询请求的支持。系统的吞吐率是衡量系统处理能力的有效性能指标。本文研究问题为:   在具有大量聚集操作的复杂查询应用负载下,如何通过数据缓存技术提高基于关系数据库的分布式数据集成系统的吞吐率。   本文分析比较了目前数据库领域内各种数据共享和数据缓存相关技术。和多查询优化技术、请求窗口技术和表扫描共享技术相比,数据缓存技术对查询请求的到达时间没有要求,可以为更多的查询请求提供对数据和计算的共享机会。物理缓存技术要求数据提供者和数据使用者之间的紧密耦合,要求数据的物理分布对数据使用者可见,不适用于远程数据源高度自治的分布式数据集成环境;视图缓存和语义缓存技术克服了物理缓存的缺点,其思想可以应用到分布式数据集成系统中,但是视图缓存不足以反映查询请求的动态变化特征,目前语义缓存只是对基础数据表的缓存,没有支持对聚集操作等复杂运算结果的缓存。   本文给出了一个应用分布式数据集成系统中基于视图缓存和语义缓存思想的数据缓存机制,对远程基础数据表和聚集操作中间计算结果进行了缓存,使用多级锁控制机制支持并发查询对缓存数据的访问,使用缓存快照方法提高了并发查询处理效率,从而为查询请求提供了对数据和计算的共享机会,减轻了远程数据源的负载,提高了系统查询处理效率。基于TPC—H100M数据量的实验结果表明,对基础数据表的缓存策略使得系统查询处理效率提高50%左右,对聚集操作中间计算结果的缓存策略使得系统查询效率提高近10倍;在一定并发度和查询选择率情况下,缓存机制对系统性能同样有显著的提高。
其他文献
在一些技巧性的体育比赛中,裁判的评定往往具有很强的主观性,从而给体育比赛带来了很多不公平性。利用计算机自动对比赛评定或者辅助裁判员评定将有效地减少比赛中的不公甲性。
嵌入式系统开发是当今计算机应用发展的一个热点。随着嵌入式硬件技术的不断发展,在嵌入式应用的不断增长以及系统复杂性不断提高的情况下,必然对嵌入式软件的规模和复杂性的要
随着SoC芯片越来越复杂,芯片的验证工作也越来越困难。传统的硬件验证方法在芯片设计完成后才开始软件验证,会降低验证效率,延缓芯片的上市时间。本文介绍的系统验证技术属于软
近年来,随着网络拓扑的日益复杂,多个自治域系统之间通信的要求越来越高,需要配置的策略越来越复杂。BGP协议是自治系统间路由协议的事实标准,对维护自治系统间选路连通性有重要
劳动力市场信息系统(又称“劳动99”系统)是在我国加快劳动力市场信息化建设过程中应运而生的,并在各地区劳动力资源的管理和调配中起到了重要作用。目前,同一个城市劳动力市场
随着半导体技术的发展,多核多线程体系结构已经成为未来计算机体系结构的发展方向。然而,相应的编程模型,编译器和运行时系统的研究则相对滞后。如何为用户提供一个简单易用的编
随着科学技术的飞速发展,人们之间的交流越来越丰富。为了增进人们之间的通信交互,多种社交媒体应运而生,如国外的MSN、Facebook,以及国内的QQ、微信等。这些社交媒体极大的增强
ERP(Enterprise Resource Planning,企业资源计划系统)是建立在信息技术基础上,以系统化的管理思想,为企业决策层及员工提供决策运行手段的管理平台。0.acle ERP作为全球第二大E
近年来,随着Internet的迅猛发展,计算机互联网络已经成为越来越多网民生活中不可或缺的一部分。目前,互联网的规模特别是中国互联网仍然在不断膨胀,多种网络应用和网络资源使这个
在3GPP-LTE基带信号处理中,基带算法采用求逆、转置、共轭等矩阵运算实现对信号的处理。这些运算在LTE基带ASIP(Application Specific Instruction Processor)中被映射成向量