互联网技术的发展以及线上交易平台和应用的普及,使得大量交易数据产生,数据分析在企业内部的重要性日益凸显。但是大部分交易数据却因海量异构、多源动态、以及受传统软件体系结构的局限,在不同业务系统之间形成数据孤岛。同时,各个业务系统的数据分析工作零散,使用范围狭窄,缺乏通用性。电商内部业务系统、App系统、PC应用等碎片化应用导致交易数据难以管理,企业缺乏统一的数据管理中心和数据分析平台。因此打破数据烟囱、信息孤岛,实现交易数据的统一管理与分析,获取数据背后隐藏的信息资源进而实现市场价值,成为了如今亟待解决的问题。针对上述问题,DOA(Data Oriented Architecture,面向数据的体系结构)提供了很好的解决思路。DRC(Data Register Center,数据注册中心)作为DOA的核心部件,通过对数据信息统一登记注册,形成逻辑资源池,实现碎片化交易数据的集中管理和共享。本文基于DRC构建了一个交易数据管理与分析一体化的综合平台,支持实时处理分析和离线计算,满足交易数据分析工作的多种业务场景与需求,并使其具备通用性和稳定性。本文研究内容如下:(1)以DOA在数据管理方面的思想为立足点,分析注册数据的基本属性和特征,研究针对结构化数据的通用元数据注册规范。(2)根据数据注册中心统一注册管理数据和对外提供数据访问服务的特点,研究针对结构化数据的注册方法和DRC数据注册中心的实现方案。(3)基于Spark Streaming实时流数据计算框架,实现交易数据的实时统计分析。本文构建的交易数据分析平台通过DRC数据注册中心间接获取源数据,并使用Canal、Kafka对源数据进行实时采集和快速传输,同时引入Web Socket全双工通信协议实现数据可视化层的低延时和快速响应。(4)基于Hadoop批处理计算框架,搭建离线计算模块,为长期累积的大批量静态交易数据提供计算和分析服务。同时基于该离线计算模块研究个性化推荐服务的实现方案。(5)针对平台的Spark Streaming实时统计分析程序的性能进行优化,设计了一种渐进式的批次时间间隔动态更新策略,将传统的静态配置批次时间间隔的方式改进为动态调整,使批次时间间隔大小随负载的变化而变化,提升平台的性能并维持平台的稳定性。本文的研究成果和创新点如下:(1)提出了一种DRC的结构化数据注册规范。分析结构化数据的属性和特征,设计了基于元数据的结构化数据注册通用规范,并提出了对应的注册方法及数据访问服务实现方案。(2)设计了一种基于DRC的支持实时统计分析与离线计算的交易数据分析平台。该平台实现了交易数据的管理与分析一体化,并具备通用性和稳定性。(3)提出了一种渐进式的批次时间间隔动态更新策略。将Spark Streaming程序传统的静态配置批次时间间隔方式改进为动态调整,能够很好地适应负载变化,提高了平台的性能和稳定性。