基于异构数据源的交通数据服务系统设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:lightingguo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,城市交通也处在高速发展的阶段,指数增长的异构存储数据不断增加着用户和开发人员的使用和维护成本。如果无法快速高效地将数据串联起来,数据的价值就无法被有效利用。目前阿里云城市大脑使用的底层数据源有RDS for My SQL、Tablestore、HBase等,特别是存储着PB级数据的列式存储数据库,它们有着各自的数据支持SDK,用户往往需要纠结于资源的调配细节,这无形之中增加了使用数据的成本。同时,业务要求数据需要在不被破坏的情况下支持快速抽取以进行分析。如何将有着各自应用场景的数据的获取方式统一起来,让应用方以低成本且高效的方式使用数据成为强烈需求。为了解决此类问题,本文实现了一个基于异构数据源的数据服务系统,使得用户可以通过在线配置数据接口的形式,以RESTful风格的API透出数据。本文研究了各种异构数据源的底层数据库和数据服务在发展过程中使用的技术,重点研究了数据服务系统建设过程中使用的技术概念和数据服务模型的应用,并对服务API的RESTful风格,数据库持久化框架My Batis,数据库连接模板Jdbc Template等相关技术做了综述。在研究数据库技术和数据服务的基础上,本文设计和实现了统一查询SDK和基于此的数据服务系统。统一查询SDK将重点放在数据库的统一连接方式和提供通用数据库存取方法上,使用单独实现的连接池和Druid连接池来屏蔽异构数据源的连接方式,并通过数据库模板解决数据增删改查的问题。而数据服务则通过在线配置接口API的方式向客户提供数据快速分析查询的能力与多样的数据消费形式。数据服务模块有三个子模块,以接口配置模块、版本管理模块和查询引擎模块实现API在线动态配置、API服务版本管理和授权以及底层数据操作。使用本系统,用户可以低成本的数据消费形式快速在多个数据源中获取数据,在线配置API接口也满足了及时响应的客户需求,这使得交通场景下异构数据的获取变得简单,可靠。本人参与了数据服务系统的设计和实现工作,并完成项目在公有云和专有云环境下的部署。目前系统能够在多场景下稳定运行。
其他文献
在会计专业推行“双证制”符合社会发展的需要,是提高会计专业学生就业竞争力的需要。鉴于会计专业资格证书尚未被纳入国家职业资格认证体系和有关法规体系不健全等问题,建议完
耐压球壳结构是大潜深水下航行体的一种常用结构形式,本文采用非线性有限元分析方法开展耐压球壳结构强度设计计算,基于轴对称球壳声振耦合理论模型计算球壳结构振动响应和水
当前,随着计算机互联网的大力普及,网络已经成为人们日常生活的一部分,或多或少地影响着人们的生产实践。网络在大力普及的同时也滋生出了许多网络安全问题。当今,个人信息越来越
抗联歌曲作为抗联文化的一部分是抗联精神传承的重要载体。抗联歌曲曾是引导受奴役的东北人民进行不屈战斗的号角,在战争年代对宣传团结抗日主张、鼓舞士气、瓦解敌人斗志等方面发挥着重要作用,对当下社会主义核心价值观构建更是发挥着不可估量的作用。随着改革开放在中国各个领域的不断深入,西方的技术、理念、文化等传入之余,也将一些消极、腐化的思想带入中国,严重冲击着人们的人生观、价值观、世界观。抗联精神是我们伟大民
对国有林场开展联营造林情况进行调研,对联营林场存在的问题和持续经营问题进行探讨。
<正>板书,作为教学技能之一,极易被人们所忽视,极少成为教育者研究的对象。特别是在多媒体盛行的时代,许多老师都用声像俱佳的课件替代了传统的板书。然而,好的板书,就是一篇
会议
本文分析了2008年7月至2011年5月我院收治的22例鼻咽癌放射治疗后颅神经受累病例,发现鼻咽癌患者中第V、VI对颅神经较易受累。经放疗后颅神经症状完全恢复的仅33%。但放疗后
会议
<正>目的分析乳腺癌患者术后出现单发性与多发性骨转移的好发部位。方法本组患者均为女性,年龄31~62岁。疼痛出现于术后第1年内83例,第2年31例,第3年12例,第4年20例。核素全身
会议