论文部分内容阅读
近几年来随着国内外市场信息化发展日趋完善,数据在类型、格式、地域等方面也呈多样化发展趋势。简单地说,将分布在不同地域空间的各类数据或数据格式统称为泛数据。如何将地源辽阔,流动性强,格式多样的泛数据收集于统一的平台是企业信息化首要解决的问题。为此我们提出了使用网络方面的最新通路技术,将有线,无线,在线,离线,条形码,语音数据收集等多渠道泛数据收集方式统统聚合在一个统一的平台上的设想并进入具体实施。本文是以多渠道泛数据收集应用服务平台为案例,阐述了泛数据收集应用服务平台的概念及其体系架构。在体系架构的设计上采用了模块化的设计方法,本系统的主要模块包括:数据接收端、数据处理层、数据收集引擎、元数据和数据输出五个模块。每个模块之间的依赖关系都是建立在接口之上的,也就是说每个模块的具体实现的变化是不会影响到其他模块的。在数据接收端模块,系统需要通过不同协议接收各种各样的异构数据,这就需要有不同的数据接收实现,然而他们对外部都具有统一的接口,外部系统并不需要里面的实现。同样在数据收集引擎模块,可以简单地将数据的链式处理方式更改为工作流处理方式。本系统作为一个平台系统,还包括了后台管理程序,系统管理员可以进入后台管理程序管理数据收集流程、元数据,查看日志,管理备份数据,等等。系统管理程序是一个B/S结构的应用程序,是基于MVC模式。除了系统平台之外,我们还设计了一系列接口,将系统封装成了一个嵌入式的库,这样可以方便将本系统集成到已有的系统中。本系统的实现是基于J2EE平台的,采用了大量的开源框架,例如:struts、spring,等等。除此之外,本文还提供了一个数据收集的实例,用户通过短信发送数据,短信网关在获取数据后将数据发送到数据收集平台,数据平台的接收端获取数据后,将数据解析,并触发数据处理流程,数据经过处理,通过数据输出层进入数据库。