【摘 要】
:
随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性能.然而,基于内存的分布式OLAP在消除磁盘I/O后,性能瓶颈转移到了连接操作.连接操作是OLAP中的一种常用操作,会进行大量的数据读取与计算操作.通过对
【机 构】
:
上海交通大学并行与分布式系统研究所
【基金项目】
:
国家自然科学基金面上项目(61772335);
论文部分内容阅读
随着业务数据的规模增大,一些重要的应用场景需要使用分布式在线分析处理(OLAP)支持大规模数据的分析,例如商务智能(BI),企业资源计划(ERP),用户行为分析等.同时,分布式OLAP打破单机存储的限制,可以将数据放在内存中以提升OLAP的处理性能.然而,基于内存的分布式OLAP在消除磁盘I/O后,性能瓶颈转移到了连接操作.连接操作是OLAP中的一种常用操作,会进行大量的数据读取与计算操作.通过对现有的几种连接操作方式进行分析,提出了一种能够加速连接操作的图结构索引以及基于图结构索引的连接操作方式LinkJoin.图结构索引通过用户所指定的连接关系,将数据在内存中的位置以图结构的形式进行存储.基于图结构索引的连接方式,不仅能够有等同于哈希连接的较低复杂度,而且在执行过程中能减少数据读取与计算操作次数.将目前先进的开源内存OLAP系统MonetDB从单机系统扩展成分布式系统,并且在该系统上设计与实现了基于图结构索引的连接操作方式.针对该系统的图索引结构,列式存储以及分布式执行引擎等3个重要方面,进行一系列设计与优化,以提升系统的分布式OLAP处理性能.测试结果表明,在TPC-H标准测试中,基于图结构索引的连接操作对于有连接操作的查询的平均性能提升达1.64倍(最多达4.1倍).对于这些查询中的连接操作,性能提升达9.8–22.1倍.
其他文献
目的 分析盐城市居民伤害死亡特征,为提出伤害防控策略提供参考依据。方法 使用2009—2019年盐城市居民死亡资料,分析伤害死亡率、死因顺位、变化趋势及寿命损失年数等。结果 2009—2019年盐城市居民伤害粗死亡率为53.94/10万,标化死亡率为37.92/10万,标化死亡率随年份增加呈下降趋势;≥65岁年龄组死亡率最高,其次是40~<65、15~<40和<15岁年龄组;伤害死亡的前5位死因是
数字金融是数字技术与金融行业深度融合的产物,其快速发展和广泛应用对经济社会产生着重要影响。本文基于2011-2020年沪深A股上市企业的面板数据,实证分析数字金融与企业竞争力之间的关系以及技术创新在其中发挥的传导效应,以期为揭示数字金融与实体经济高质量发展的关系提供微观证据。研究结果显示:第一,数字金融带来的资源效应和信息效应有助于提升企业竞争力,这种影响能够在较长时期内对企业竞争力发挥助推效应。
木质素生物转化对于提升生物质炼制技术经济性、促进可持续性发展具有重大潜力。然而,由于木质素结构的复杂性,导致木质素难以被生物降解。此外,木质纤维素分离后所得木质素往往存在性质、结构不均一的问题,限制了木质素高值转化。如何优化木质素原料及微生物发酵过程,提升木质素生物转化效率,是生物质炼制领域的前沿问题。论文以恶臭假单胞菌Pseudomonas putida KT2440为代表性菌株,探究了梯度酸析
近年来,随着时代进步和科技发展带来了航空公司数量迅速增加,这也导致航空业内部竞争激烈,其中最关键的问题落在了客户资源方面。由于客户资源总数是有限的,若航空公司不能很好的把握住自身拥有的资源和新客源的引入,那么就会面临被同行业竞争者淘汰的风险。为了应对这一问题,航空公司必须能有效准确地对客户的价值进行识别,并且及时掌控客户的流失态势。本文以某航空客户行为数据为研究对象,对客户的价值分类以及客户流失进
为研究地震前后乡村聚落演变特征的变化对乡村聚落选址的安全意义,以云南1995年武定6.5级、1996年丽江7.0级、2014年鲁甸6.5级地震极震区乡村聚落的分布特征为研究对象,使用分形理论随机聚集维数分别测算出3次地震极震区内乡村聚落在地震前1年以及地震后第3年的分维数。结果表明:(1)地震后极震区内乡村聚落数量明显增多,聚落分布更为分散;但2014年鲁甸6.5级地震极震区乡村聚落数的增长幅度明
德育与人类文明进程和国计民生存在明显的关系,要想全面提升国民综合素质,有效建设和谐社会,我国必须要关注德育渗透,将德育与教育体系相结合,稳步提升德育的社会地位以及教学比重,整合多种德育渗透模式,凸显一定的协同作用和效果。围绕立德树人的根本任务目标积极尝试现代化的教学对策,促进新旧教学资源的有效利用及高效配置,确保德育教育工作能够更上一个台阶。作为重要的德育资源,红色文化不容忽略,在全面开展高中德育
继续医学教育一直是基层医疗长期可持续培养人才的重要方法。区域医疗联合体的形式,不仅加强了该区域内医务工作者的合作与交流,同时进一步推动了继续医学教育的远程发展,更促进了继续教育新的模式的形成。在远程信息系统的应用广泛的时代,越来越多的线上教学层出不穷,形成医联体内多元化的继续教育工作。这能够有效突破时空限制,显著推动医联体“医疗同质化、流程一体化”。重庆医科大学附属第一医院心电信息室暨重庆市心电图
<正>"用数对确定位置"是青岛版小学数学五四制教材五年级上册第一单元的内容,属于"图形与几何"领域中"方向与位置"的重要内容。本节课是引导学生用抽象的数对来表达点的位置,对发展学生的空间观念具有重要意义。接下来,笔者根据"用数对确定位置"这节课的教学,对高效数学课堂的构建展开探讨。一、做"有根源"的课堂教学,
本文实证分析零售商形象对自主品牌顾客消费意向的影响,考虑了自主品牌态度发挥的中介效应,旨在为零售商科学实施自主品牌战略、提升自身核心竞争力提供参考。研究结果表明:零售商形象(功能形象与情感形象)可以激发自主品牌顾客消费意向;自主品牌态度(认知性与情感性态度)受零售商形象的正面影响;自主品牌顾客消费意向受其自主品牌态度的正向影响;在零售商形象和自主品牌顾客消费意向的关系中,自主品牌态度起中介作用。