基于HBase查询优化的研究与应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:lee419444083
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的来临,对于海量数据的管理和检索,提出了更高的技术要求。HBase作为Hadoop框架下的分布式No SQL数据库,以其强拓展性,优秀的存储能力,良好的读写能力被众多企业选择作为大数据存储介质。目前HBase常用于互联网与物联网领域,如能源数据存储、车载信息收集、电子商务订单备份、工业传感器数据存储等。数据类型以时空、时序数据等流数据为主。在能源数据领域,风场风机监控数据作为标准的时间序列数据,是HBase的主要适用场景之一。针对HBase不提供非主键索引,面对非主键列查询,只能进行效率低下的全表扫描,聚合查询面对海量数据需要重复计算,实时性较低的问题,本文致力于基于HBase的查询优化技术的研究与应用,主要的工作内容如下:(1)为支持不同环境,不同性能要求的多条件非主键查询,为HBase设计了适应不同环境的二级索引方案,实现了索引的自动构建与更新,并通过解析器实现SQL语句调用HBase查询API接口的功能。(2)针对已有的二级索引方案中普遍存在的索引与元数据一致性问题,提出了基于延迟更新的索引一致性解决方案,实现索引与数据的最终一致性,避免了索引更新错误导致的索引失效问题,在保证正确性的前提下提高查询效率。(3)为提高HBase针对时间序列数据聚合查询的效率,提出一种基于时间分割树的索引结构,针对保存在磁盘上的树状索引查询开销大,查询时间受数据量影响的问题,对时间分割树结构进行改进,同时对查询算法进行优化,避免了索引树层层遍历的磁盘I/O开销,提高了查询效率。针对上述的优化方案,根据实际项目需求设计了采用HBase作为底层数据库的风机监控与管理系统,并在系统中对各个模块的功能进行了分析与实现。通过对数据库集群的设计,将优化方案在HBase中进行了应用,同时利用风机运行数据作为数据集,进行了功能测试和方案效率测试。
其他文献
自有品牌对于企业优化供应链结构、创造差异化竞争优势、提高利润率、增加企业无形资产都有着重要作用,也是连锁超市未来发展的趋势。本研究从本土连锁超市所处环境入手,在环境分析的基础上就连锁超市发展战略进行探讨,并通过对“沃尔玛惠宜”这一品牌发展的研究,对本土连锁超市自有品牌发展提出了选择快速消费品、采用系列品牌命名模式、以用户为导向的生产方式、重视定价和营销策略的建议。
2021年中国民族音乐学研究在继续沿袭前一年热点研究的基础上,更具宏观视野。主要表现在:回顾和反思民族音乐学的“中国实践”与“中国经验”,围绕“学术、学科、话语‘三大体系’”建设进行探索,尤其是对学科史的整体梳理和微观学术史研究的尝试;拓展城市民族音乐学研究的新视野和新思考,诸如“概念与内涵”“区域化探索”“多点田野考察”;将音乐文本置于历史文献中,结合田野考察的活态表演进行互证,总结历史民族音乐
人与自然和谐共生理念,是习近平生态文明思想的一个核心理念,也是指导生态文明建设的一个根本理念。"坚持人与自然和谐共生"是十九大报告提出的新时代坚持和发展中国特色社会主义十四条基本方略之一。党的十九届五中全会把"推动绿色发展,促进人与自然和谐共生"作为"十四五"时期十二个方面重点工作方向之一。《习近平谈治国理政》第三卷第十三专题是"促进人与自然和谐共生"。人与自然和谐共生具有丰富的价值意蕴,主要表现
随着非物质文化遗产保护的亟需性和重要性逐渐被学术界所重视,"非物质文化遗产学"或在语言上更简洁的"非遗学"从三两个专家的提倡变成了基于较大共识的学科体系建设议题。非遗学被定位为一门前沿、交叉学科,其前沿性一方面在于它是文化遗产保护发展出来的非遗保护事业的新产物,另一方面在于它正以崭新的方式推动文化多样性条件下的人类文化认同;其交叉性既是学科演变的历史现象,也正借助新文科建设的动能互换理论整合和方法
财务共享服务的发展和信息化紧密相连,在大智移云时代,信息化的快速发展将促使企业财务共享的飞速发展。财务共享能够不断实现流程标准化、工作效率提高以及经营成本降低。本文回顾财务共享模式的发展,发现企业需求与财务共享模式发展匹配中的难题,提出了财务共享模式未来发展的方向。
随着人工智能、大数据、云计算等信息技术的发展,人类迈入了数字时代。在数字时代,算法技术已深深嵌入人类社会的肌理,给我们的生活带来深刻的变革和影响。每当你接入网络,在电商平台上浏览或购物一次,就等于和算法技术打了一次交道。我们在网店里所看到的或将要购买的商品、服务,背后其实都是算法技术操纵的结果。我们在享受算法技术带来的便利的同时也被算法技术所捕获、俘虏,沦为技术的附庸甚至"奴隶"。
期刊
算法价格歧视是电商平台经营者运用大数据和算法等手段进行的一种潜藏的新型价格歧视。算法价格歧视行为具有可责性,而现行其他部门法对于规制算法价格歧视行为具有局限性,因此反垄断法有必要对其进行规制。算法价格歧视行为若满足经营者具有市场支配地位,对条件相同的交易相对人在交易价格等交易条件上实行差别待遇,经营者行为造成竞争损害后果等要件,就可构成反垄断法上的价格歧视。可以通过完善相关市场的界定方法,改良市场
算法价格歧视虽可提高商业效率,但电商平台在信息二次利用过程中存在侵害用户信息权益的高度可能性,知情同意规则作为个人信息保护领域的帝王原则,受到数据时代带来的冲击。以算法价格歧视是否存在合理性为出发点,引入法经济学中的"卡-梅框架"理论,结合新近出台的《个人信息保护法》对知情同意规则的规则配置、考量信息保护和流通效率等因素,分析算法价格歧视背后知情同意规则所面临的危机,比较不同规则类型下的法律效果,