【摘 要】
：
大规模并行处理和列式存储将SQL的查询速度从小时提升到了分钟,但是这远远满足不了交互式分析的实时性需求。Apache Kylin是基于空间换时间思想的分布式联机分析处理。Kylin能够为超大规模的数据集提供多维分析能力和亚秒级的标准SQL查询。但是Kylin的维度增加会带来多维立方体维度爆炸的问题,同时给磁盘和网络传输带来巨大压力。为解决多维立方体构建维度爆炸的问题,本文进行了如下工作:1.首先提
论文部分内容阅读
大规模并行处理和列式存储将SQL的查询速度从小时提升到了分钟,但是这远远满足不了交互式分析的实时性需求。Apache Kylin是基于空间换时间思想的分布式联机分析处理。Kylin能够为超大规模的数据集提供多维分析能力和亚秒级的标准SQL查询。但是Kylin的维度增加会带来多维立方体维度爆炸的问题,同时给磁盘和网络传输带来巨大压力。为解决多维立方体构建维度爆炸的问题,本文进行了如下工作:1.首先提出了基于FPGA（Field-Programmable Gate Array）的Deflate硬件压缩模型。通过Area、Loop-Carried、循环展开等硬件优化手段,得到了2.33的压缩率和2.87GB/S的压缩速度。该模型的压缩速度相比软件实现的Deflate算法压缩性能有明显提升。2.然后提出了基于硬件压缩加速的异构分布式三层模型设计,并进行对比实验验证了异构集群在读、写、计算性能上均有显著提升。3.最后提出了在查询引擎层构建基于异构加速的分布式Cubing模型,并对其进行基于贪心的动态剪枝优化。基于上述工作,对异构加速的Cubing模型和仅动态剪枝加速的Cubing模型进行对比实验。实验结果表明,异构加速的Cubing模型在构建时间上获得了3.7倍的加速比,在平均查询时间上获得2倍的加速比。本文提出的基于异构加速的Cubing模型能够对多维立方体的构建和查询进行加速,以缓解Kylin在维度爆炸时带来的IO压力。
其他文献
我国汽车保有量的快速增长,为人们带来巨大便利的同时,不可避免地也带来了严重的交通问题。随着人工智能技术在各行业的推广,为交通问题的解决提出了新方案。以车辆、行人和交通标识等作为检测对象的道路目标检测是实现车辆智能辅助驾驶和自动驾驶等智慧交通体系建设的基础,近年来基于计算机视觉的目标检测算法发展迅速,很多两阶段的目标检测算法已经取得了很高的检测精度,但是由于遮挡、天气、光线不足、检测小目标较多等原因
由于超材料的出现,太赫兹领域的相关科学技术的发展也变得非常快速,而利用超材料来完成相关领域的器件设计自然而然的成为了近年来的科研主攻方向,例如利用超材料设计得到的吸波器、极化转换器、调制器等。本文主要以超材料作为出发点,将不同的可调材料结合超材料组成复合型器件,分别研究了宽带单可调、宽带多可调、多带多功能超材料太赫兹功能性器件。利用相应的理论较为详细的解释了所设计的器件背后的物理原因。本文的主要研
低照度图像增强是计算机视觉研究领域中一项基本处理任务,现已受到了广泛关注。人类的视觉机制往往从高质量的图像中获取有价值的信息,为了在弱光条件下获得能见度较高的高质量图像,改善图像的视觉效果,必须对低照度图像进行增强。近些年,很多研究者致力于将深度学习的方法应用在低照度图像增强的领域中,但现有深度学习图像增强网络对于不同尺度特征的表征和感知能力存在不足,其增强结果存在大量噪声、边缘轮廓模糊不清、亮度
5G是具有高速率、低时延和海量连接的新一代宽带移动通信技术。天线和滤波器作为系统前端两个不可或缺的器件,它们的协同设计（滤波天线）可以提高系统的传输效率与通信质量。然而,大多数滤波天线的研究局限于线极化,不适用于某些具体的应用,比如紧凑型室内基站天线。且现有圆极化滤波天线的研究其馈电方式多为探针式馈电、不易于集成、带宽窄、只适用于5G低频频段。另一方面,集成基片间隙波导（Integrated Su
基于图像的三维重建是从一幅或多福二维图像中推导出物体和场景的三维几何结构,因成本低廉、数据易于获取、真实感强、自动化程度高等优点,在计算机视觉和计算机图形学领域成为研究热点和难点。本文提出一种基于代价体金字塔的多视图立体重建系统,对多视图立体重建的关键步骤进行研究与改进。（1）由于基于循环算法的多视图三维重建是置换变体,即相同图像的不同排列重建的3D形状可能会不相同,因此本文在特征提取阶段加入一个
野生菌作为一种常见的食材,因为其富含多种微量元素,能够提升人的免疫力,所以深受人们喜爱。但是,近年来国内频繁出现野生菌中毒事件,究其原因,主要是对于普通大众而言,不具备鉴别野生菌种类的专业知识,容易将有毒野生菌误认为可食用野生菌,从而导致误食有毒野生菌而中毒。目前现有的野生菌识别分类方法普适性较低,不利于推广使用。因此,本文拟开发一种野生菌识别程序,利用深度学习技术辅助人们鉴别野生菌的种类,从而为
脊椎的图像分割、特征点检测等技术可有效提升手术中的脊椎配准、脊椎重建的精度,从而降低脊椎手术失误率。然而现代临床中的脊椎图像分割与特征点标定的工作往往依靠医师手工完成,传统手动操作技术虽然很大程度为脊椎诊疗提供了便利,但其中也不乏操作过程繁琐费时、需要医师经验丰富操作、结果受主观因素影响大等多种限制。为提高诊疗效率,提高脊椎手术安全系数,本文致力于脊椎磁共振（magnetic resonance,
随着5G时代的来临,运用于物联网场景的毫米波技术也要跟随5G发展的脚步逐渐成熟并加以运用。耦合器件的性能与物联网的整体微波通信体系是否优秀息息相关,运用于5G频段的毫米波宽带耦合器有十分重要的研究意义。集成基片间隙波导（Integrated substrate gap waveguide,ISGW）和封装型集成基片间隙波导（Package Integrated substrate gap wave
随着计算机科学中计算机视觉领域的发展,人们对于图像质量的要求越来越高,不管是野外的夜晚还是室内弱光环境,在曝光不足的场景中采集到的图像或者视频往往因为亮度和对比度的不同难以让人区分出图像的细节,同时低光环境中所拍摄的图像往往带有大量的噪声,得到的数据不能满足人们对其的期望,也不能够应用于高级视觉任务的需要,因此,我们更需要一种有效的图像增强算法来满足高级视觉任务的需要。低照度图像增强技术是通过对数
中国是一个能源分布不均匀、人均资源匮乏的国家,大力发展可再生能源是保证国家能源安全和稳定的必由之路。风力发电、光伏发电等清洁能源发电过程无污染,而且不会出现资源耗尽的问题,因此具备了火电所不能相比的优点,但可再生能源由于出力随机性和波动性的特点,会给需要持续且稳定供电的负荷带来较大影响,这些缺点限制了风电、光电的使用场景和使用方式,因此如何优化、协调、控制不同能源之间的出力配比是当前面对的一大技术