一种基于OpenTSDB的海量实时数据存储系统

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:bueryuyu33
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
海量数据的存储与查询是进行大数据分析的先决条件,如何高效灵活的存取海量数据已成为当前业内的研究热点。华南理工大学能耗数据分析平台采用传统的关系型数据库作为其存储支撑,但受限于其理论模型与体系结构,很难在性能和扩展性方面满足大数据情景下的数据需求。非关系型数据库可以较好的解决这些问题,但其功能往往较为简单,在复杂查询和事务管理等方面支持有限,并且缺乏标准化的查询语言或接口,难以与基于SQL的查询逻辑兼容,技术迁移难度大。为了解决上述问题,本文对能耗分析平台内实时数据的特征进行了详细分析,并在广泛技术调研的基础上,整合关系型数据库与非关系型数据库的各自优势,设计并实现了一套基于OpenTSDB的海量实时数据存储系统。该系统的核心设计思想是:构建由关系数据库和非关系数据库OpenTSDB组成的异构数据库集群,关系数据库中存储关系特征强的、存在事务或复杂查询需求的数据;OpenTSDB则用于支撑海量实时数据的存储。在数据持久层模块上,本文创新性的提出了一种基于面向切面编程的设计方案,借助Spring AOP增强Mybatis这一关系型数据库数据持久化框架的查询方法,在一次接口调用过程中同时实现两类数据库的查询,用关系数据库查询结果驱动OpenTSDB的查询,并最终按照接口定义返回规范的查询结果。这一设计方案无需对相关框架或数据库的代码进行修改,实现了各个模块之间的松耦合,并且不会对上层的业务逻辑产生影响,具有良好的兼容性,极大的降低了技术迁移的难度。本文还提出了一种基于冗余存储的顺序读取优化设计方案,以额外的存储空间为代价换取了使用不同字段进行顺序读取效率提升。华南理工大学能耗数据分析平台上进行的一系列测试显示基于OpenTSDB的海量实时数据存储系统具备完善的功能并有着良好的随机/顺序访问性能。
其他文献
近些年慢性充血性心力衰竭的治疗取得了很大的进展.对于心力衰竭患者不但要作出正确的临床评估和治疗评估,还要选择更为合理的治疗措施.
当代社会贫富分化和阶层分化扩大的客观事实已然成为不可忽视的社会问题,由于社会比较而产生的"相对剥夺感"心理更是波及到了大学生群体。在尚未形成自身完整的社会资本与人
用统计方法计算出巴马50a平均气温和降水、日照时数、气压等数值,分析该地区气候环境变化对人类生存的作用,以揭示巴马地区气候环境与人类长寿的特征与规律。分析结果表明:巴
在社会主义与资本主义并存的当今世界,如何认识与处理社会主义与资本主义的关系,这影响着中华民族伟大复兴“中国梦”的实现。研究当代社会主义与资本主义的同一性和对立性,
<正>在邢台市桥东区西门里办事处顺德西社区,人们经常看到一个忙碌的身影:或同老人们热情地打招呼,或与居民亲切交谈,或走家串户往返于社区巷弄……她就是社区党支部书记马建
期刊
目的明确慢性肾脏病(CKD)患者中性粒细胞淋巴细胞比值(NLR)与炎症的关系,为临床监测CKD患者的炎症状态提供一个简便的途径。方法以64名透析前CKD3-5期患者及72名稳定的维持性
笔者自1995年起以清开灵注射液合黄芪注射液静脉滴注治疗复发性尿路感染20例,并与同期根据尿培养药敏结果应用抗生素治疗的复发性尿路感染10例(对照组)进行比较,现将结果报道如下。1临床资
Toll样受体(Toll like receptors,TLRs)是一类介导天然免疫的跨膜信号传递受体家族,在细胞活化信号的转导中起重要作用,是联系天然免疫与获得性免疫的桥梁[1]。多发性骨髓瘤(
近日,某市人大常委会召开会议,一次性任免五名副市长。有人认为,根据地方组织法第44条第9款的规定,在本级人代会闭会期间,人大常委会只能决定政府副职的个别任免,人大常委会
随着当代经济的发展与物质的繁荣,人们对身心和谐的追求逐渐显著,欣赏自然,回归自然越来越受到人们的青睐。长寿乡作为延益生命奇迹的地方,吸引了大量"候鸟人"的迁徙,伴随着