【摘 要】
:
互联网技术的发展以及线上交易平台和应用的普及,使得大量交易数据产生,数据分析在企业内部的重要性日益凸显。但是大部分交易数据却因海量异构、多源动态、以及受传统软件体系结构的局限,在不同业务系统之间形成数据孤岛。同时,各个业务系统的数据分析工作零散,使用范围狭窄,缺乏通用性。电商内部业务系统、App系统、PC应用等碎片化应用导致交易数据难以管理,企业缺乏统一的数据管理中心和数据分析平台。因此打破数据烟
论文部分内容阅读
互联网技术的发展以及线上交易平台和应用的普及,使得大量交易数据产生,数据分析在企业内部的重要性日益凸显。但是大部分交易数据却因海量异构、多源动态、以及受传统软件体系结构的局限,在不同业务系统之间形成数据孤岛。同时,各个业务系统的数据分析工作零散,使用范围狭窄,缺乏通用性。电商内部业务系统、App系统、PC应用等碎片化应用导致交易数据难以管理,企业缺乏统一的数据管理中心和数据分析平台。因此打破数据烟囱、信息孤岛,实现交易数据的统一管理与分析,获取数据背后隐藏的信息资源进而实现市场价值,成为了如今亟待解决的问题。针对上述问题,DOA(Data Oriented Architecture,面向数据的体系结构)提供了很好的解决思路。DRC(Data Register Center,数据注册中心)作为DOA的核心部件,通过对数据信息统一登记注册,形成逻辑资源池,实现碎片化交易数据的集中管理和共享。本文基于DRC构建了一个交易数据管理与分析一体化的综合平台,支持实时处理分析和离线计算,满足交易数据分析工作的多种业务场景与需求,并使其具备通用性和稳定性。本文研究内容如下:(1)以DOA在数据管理方面的思想为立足点,分析注册数据的基本属性和特征,研究针对结构化数据的通用元数据注册规范。(2)根据数据注册中心统一注册管理数据和对外提供数据访问服务的特点,研究针对结构化数据的注册方法和DRC数据注册中心的实现方案。(3)基于Spark Streaming实时流数据计算框架,实现交易数据的实时统计分析。本文构建的交易数据分析平台通过DRC数据注册中心间接获取源数据,并使用Canal、Kafka对源数据进行实时采集和快速传输,同时引入Web Socket全双工通信协议实现数据可视化层的低延时和快速响应。(4)基于Hadoop批处理计算框架,搭建离线计算模块,为长期累积的大批量静态交易数据提供计算和分析服务。同时基于该离线计算模块研究个性化推荐服务的实现方案。(5)针对平台的Spark Streaming实时统计分析程序的性能进行优化,设计了一种渐进式的批次时间间隔动态更新策略,将传统的静态配置批次时间间隔的方式改进为动态调整,使批次时间间隔大小随负载的变化而变化,提升平台的性能并维持平台的稳定性。本文的研究成果和创新点如下:(1)提出了一种DRC的结构化数据注册规范。分析结构化数据的属性和特征,设计了基于元数据的结构化数据注册通用规范,并提出了对应的注册方法及数据访问服务实现方案。(2)设计了一种基于DRC的支持实时统计分析与离线计算的交易数据分析平台。该平台实现了交易数据的管理与分析一体化,并具备通用性和稳定性。(3)提出了一种渐进式的批次时间间隔动态更新策略。将Spark Streaming程序传统的静态配置批次时间间隔方式改进为动态调整,能够很好地适应负载变化,提高了平台的性能和稳定性。
其他文献
本文开发设计了一种单层换热管结构的换热器,应用于额定热负荷在24kW以下的强排即热式燃气热水器。通过CFD分析,该设计下换热器翅片烟气侧的烟气热流温度场与物质输运的速度
赫尔曼·黑塞的文学创作,关注现代文明中个人的生存困惑,倡导个体人格的自我完善。黑塞一直在探索一条属于自己的发展道路,思考如何成为一个内心和谐且自性化的人,力图找到在
词典释义模式化和范畴化一直是语义学和词典学追求的一个目标。莫斯科语义学派的代表人物Ю.Д.Апресян提出了词典释义类别理论,词典释义类别理论是词典释义范畴化与模式化的一种尝试,目前仍然是语言学中一个尚待完善、验证的概念。本文旨在对俄汉语图像创作动词词典释义类别理论探讨和分析的基础上,实现该类动词以词典释义类别为描写单位的词典条目试编。论文首先论述和梳理国内外学者关于词典释义范畴化与模式化理论和
目的:肌肉痉挛(muscle cramps)是血液透析(hemodialysis,HD)患者常见并发症之一,但目前对于透析患者肌肉痉挛的原因及机制仍存在争议,而肌肉痉挛的防治方法亦无公认的指南,为此我们开展了前瞻性研究,通过观察补充维生素K2对血液透析患者的肌肉痉挛的缓解作用,为防治透析相关性肌肉痉挛提供安全可行的方法奠定临床基础。方法:选取川北医学院附属医院血液透析中心的48名维持性血液透析(M
在节水灌溉工程中,管道输水灌溉工程技术作为一项重要内容,是灌溉系统技术改造、更新和现代化建设的重要措施。近年来,为适应农业节水灌溉发展的需要,宿迁地区加速开发和应用节水灌溉工程技术,其中,管道输水灌溉工程技术得到大力推广。本文针对当前宿迁市平原灌区推广应用管道输水灌溉工程技术存在的问题,对宿迁市平原灌区管道输水灌溉工程技术应用的适宜性、灌溉系统的布置模式、适宜规模及建设定额标准进行了研究,同时探讨
在线社交网络作为学术交流的重要渠道,改变了信息资源的传播路径。目前,学者们倾向于在特定的平台和领域内对学术交流行为进行探讨,相对缺乏从多维度研究去学术交流行为的驱动因素。鉴于此,本文提出科研人员在线社交网络学术交流行为模型构建,拟从个体、信息、平台三个方面研究科研人员在线社交网络学术交流行为,为了提高科研人员的学术信息共享效率,发现在线社交网络上学术交流行为的驱动因素。本文采用文献调查的方法,对现
第一部分超声评价不同放疗剂量对靶区内大动脉的损伤目的:将新西兰大白兔腹主动脉肝后段勾画在靶区内进行上腹部照射,运用常规超声、瞬时波强技术检测腹主动脉早期损伤的情况,以评价靶区内不同放疗剂量对兔腹主动脉的影响。方法:将40只雄性新西兰大白兔随机分为实验A组、实验B组、对照组,实验A、B组各15只,将腹主动脉肝后段勾画在靶区内行上腹部照射,分别给予单次剂量20Gy、30Gy放疗,对照组10只,给予OG
近年来为了控制房价快速上涨,国家出台多种调控政策,土地作为房地产市场的源头,是抑制房价快速上涨,调控房地产市场的根源,是促进房地产市场合理健康发展的重中之重。土地供给侧改革包括很多方面,但主要包括土地供应数量、土地供应价格、土地供应结构这三方面。本文分析供给侧改革下石家庄市土地供应对房地产价格影响的现状,构建土地供应对房地产价格影响的理论模型,在此基础上运用石家庄市2008-2018年的年度数据建
高剑父是岭南画派的核心人物。当时正处在中国西风东渐,民主革命潮流汹涌澎湃,传统文化精神和价值观念受到冲击的时代背景下,高剑父由“政治革命”激发“美术革命”,推行“新国画”运动。“新国画”在形式与思想上都有所突破,一方面保留传统绘画的特点,一方面融入西洋画因素,形成新的表现。无论是题材还是构图和表现手法,“新国画”都有很多与传统绘画不同的地方,这也是高剑父在中国画创作中创新的重要部分。本文以中国画创
由于水文过程中存在很多不确定性,预报操作中存在很多盲点。不确定性是水文过程中客观存在的,不确定性问题是目前水文预报的热点问题,研究不确定性方法在小流域水文预报的实际应用可以为加强水文基础理论和防洪提供广泛的应用可能性。本文选择永翠河流域作为研究对象,应用不确定理论对月径流序列进行预报,取得的成果如下:(1)季节性一阶自回归模型在径流量突变点、特丰期时个别月份径流、过渡期月径流,都不能给出理想预报精