一种可适应多变需求的数据处理平台设计与应用

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:lxmcn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机网络的发展与互联网的深入应用,企业面临数据爆炸式增长,如何从这些海量、异构、多样、动态的数据中准确、高效、低成本地挖掘有价值的信息,帮助企业和机构做出决策,已成为许多企业下一个阶段信息化系统建设的重要目标。传统的在开发阶段必须确定相应功能的应用开发模式,很难适应基础数据快速增长、应用需求多变的使用环境,很容易导致系统开发周期长、使用寿命短的局面,造成巨大人力、物力浪费。研究可适应多变需求的应用系统,具有实用价值。本文在深入研究可适应多变需求应用系统构建相关理论和技术的基础上,提出了一种处理方案:基于通用数据处理平台提供动态定制数据处理(统计、数据挖掘)流程的功能,而(高层)应用系统通过一个流程处理执行引擎执行可变流程或者组合的流程方式,以增强应用系统适应数据和多变需求的能力。论文主要贡献和工作如下:1.研究了可跨平台交换统计和挖掘模型的通用语言PMML,并在研究了部分开源PMML执行引擎的基础上,设计并实现了一套PMML执行引擎。2.设计并实现了一套可支持数据预处理、数据集成和部分数据挖掘的可视化数据处理流程设计平台。该平台以PMML语言作为数据处理流程的基本描述语言,以自主设计的PMML执行引擎为流程定制模块的核心,实现了允许以直观的、交互式绘图方式,进行可视化流程设计、流程执行以及可视化执行结果展示等功能。该平台主要功能现已基本完成,可正常运行。将平台应用于某商业银行海量客户交易金融数据信用分析,验证了平台的一些功能,通过定制数据处理流程来应对部分可变需求的方法,增强了高层应用系统的可适应性,验证了本文方案的有效性。
其他文献
随着现代科学技术的发展和人民生活水平的提高,人们对住宅的安全性提出了更高的要求。由于视频监控具有直观、方便、信息内容丰富等的特点,而被广发的应用各种安防系统中。现
机器人视觉伺服具有广阔的发展前景。由于摄像头畸变等因素的影响,基于系统标定的视觉伺服系统有很大的局限性,人们开展了无标定视觉伺服的研究。而在实际的视觉伺服系统中,
随着人们对能源危机及环境污染的日益重视,风力发电系统在世界范围内得到了迅速发展,有效的提高机组运行效率、最大限度地利用风能已成为风力发电技术研究的主要内容。因此对风力发电机组建模仿真,为有效保证机组运行提供了必然条件。论文研究了风力发电系统的基础理论,根据风速、风力机、双馈发电机的数学模型在Matlab/Simulink中分别建立仿真模型;根据坐标变化原则从双馈电机的基本电磁理论出发,研究内部变量
网络控制系统具有布线简单、结构灵活、易于系统扩展和维护以及能够实现信息资源共享等优点,因此,网络控制系统的研究已经成为控制科学及工程领域的研究热点之一。论文研究了
铁路运输在我国各种现代运输方式中占有头等重要地位,随着我国铁路运输不断大规模提速,对机车的运行安全提出了更高的要求。针对目前铁路机车运行状态监测实时性差的缺点,本
温度的测量在工业领域和其他领域中都具有十分重要的作用,随着科学技术的进步,在辐射测温领域中出现了许多新的发展方向,接触式辐射测温即为其一,它的基本思想是将测温腔体与被测对象直接接触,传热稳定以后再测出测温腔体的辐射温度,因此测温腔体辐射特性的确定就是关键的一环。描述腔体辐射特性的技术指标是腔体的积分发射率,为求得积分发射率,重要的是知道沿腔壁的有效发射率分布,然而高精度的测量这些量是很困难的,所以
本文主要介绍了汉语分词中未登录词识别与词性标注方法。未登录词是影响汉语分词准确率的一个重要因素,未登录词包括人名、地名、时间名、数词等,提高这类词的识别率能够在一定
永磁同步直线电机(permanent magnet synchronous linear motor, PMSLM)在现代制造行业应用范围广泛,具有构造简单、定位精度高、灵敏度高等优点。但其推力波动问题影响了其在高精度高速领域的发展与推广。定位力是PMSLM推力产生波动的关键成因,因此,直线电机的定位力抑制研究对其输出特性与推广起着关键性的影响。本文以一台双次级PMSLM为对象,从本体结构出发,通
脑电逆问题的研究是从给定头皮脑电位的分布推算脑内电活动的源,该研究涉及到信息科学、电磁场计算及生物医学工程等多个学科领域,其研究成果在神经疾病诊断、探索人的感觉和认
近年来无线通信技术的迅速发展,因其受地形影响较小加之通讯成本低廉的优点引起越来越多人的关注。人们逐渐意识到使用无线通信作为电力系统数据传播的媒介具有广阔的应用前景。本文顺应当代科技发展趋势,在对当前的几种无线数据传输技术进行比较的基础上,选择当今非常流行的通用分组无线业务(GPRS)作为通讯的媒介,提出了基于GPRS网络的智能电力监控系统。通过GPRS网络的数据通信,该系统能实现与监控子站双向通信