复杂信息系统的数据提取、建模及其应用

来源 :浙江理工大学 | 被引量 : 1次 | 上传用户:joshcky
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息化时代背景下,每天都会产生大量的数据,需要处理的数据量越来越大,对处理时间的要求却越来越短。面对如此繁杂众多的信息系统以及海量的数据,如何从这些复杂信息系统中提取有用的数据进行分析决策是当下面临的一大难题。在此背景下,本文将研究交通警察信息系统中数据的提取以及建模应用。本文选取交通警察信息系统的数据进行应用研究,首先确定好交通数据的新型存储平台——数据仓库,这将存储散落在原先各个业务系统中的数据。为保证交通警察数据仓库中数据的同步性和准确性,本文结合gpload的特性设计实现了数据导入的ETL工具,将抽取出来的数据,进行转换后再并行加载。还设计了调度中心来对生产环境中的ETL任务集群进行调度,其使用高响应比优先策略搭配蚁群算法来负责处理ETL任务的调度安排,使用quartz负责实际调度执行,从而将数据提取到数据仓库中。然后对交通警察数据仓库中的数据进行分析,例如在卡点采集的车辆经过数据中寻找其中的套牌车辆。先对卡口数据集的结构进行了分析,找出其中跟套牌车分析有关的属性信息,并将业务上的分析方法转化成定量的数学模型。再引入时空矛盾的新约束,设计基于时空矛盾的车牌套牌算法,将相关套牌车牌计算结果采用嫌疑率的标签进行输出。紧接着使用MapReduce框架来对数据仓库Greenplum分布式存储的卡口数据进行并行计算,充分发挥数据仓库的分布式存储和MapReduce框架的并行计算性能,对大批量的卡点车辆数据集实现高吞吐和高效分析。为了实现数据的高效分析和低门槛使用,将之前的数据提取过程和数据应用分析进行可视化。结合套牌车的分析和之前数据仓库的数据提取设计了交通警察分析系统,包含交通数据的管理、套牌车鉴别、套牌车布控等功能,该系统降低了业务分析的门槛,提高了数据分析能力,也证明了本文相关理论的有效性。最后归纳总结了本文主要研究内容及相关成果,以及对后期的研究工作进行了讨论和展望。
其他文献
思想政治工作的开展对于企业发展的重要性不言而喻,在如今的经济背景下,充分发挥政工应用是进一步促进企业的发展。政工人员需要不断地充实自己,做好思想政治工作,在企业中进行安
期刊
女性接受高等教育的起步较晚,这主要是由于女性身份和地位在人类发展过程中一直不受重视,女性主体意识不强所致.就中美两国而言,其根源在于美国宗教文化和中国儒家思想对各自
中国医药生物技术协会于11月25日在无锡召开了研发与诊疗基地工作暨学术研讨会,协会5个研发与诊疗基地的负责人和专家参加了会议。会议听取了各基地的工作汇报,并开展了学术交
摘? 要: 不论是传统的线下课堂教育还是新开展的开放教育,如果到课率比较低长期比较低的情况之下,是没有办法实现教学质量的提升的,而且电大开放教育本身的特点就是自由度比较高,
钧瓷制作技艺作为国家级非物质文化遗产,具有深厚的历史文化价值和独特的家族传承特性。研究钧瓷产业的背景、钧瓷发展的历史和研究对象钧瓷进行了调查分析的研究有很多,在参
目的探讨脑室-腹腔分流术的护理效果及护理措施。方法对2005年6月~2010年1月间在我院接受脑室-腹腔分流术的脑积水患者42例实施全面的护理措施。结果经过积极处理、精心的治疗
大型石油企业需要采购的工程服务项目繁多,传统的招标采购模式呈现出经济成本过高、效率较低等劣势与不足。2020 年,面对前所未有的疫情和极端低油价,新疆分中心结合区域用户的
由于小微企业自身的发展阶段和经营特点,融资业务一般风险较大,贷款违约率明显高于大中型企业。2014年以后各商业银行信用贷款产品迅速增加,其中小微企业信用贷款是重要增长点,但是因小微企业信用贷款申请流程便捷、小微企业数量多、经营方式复杂,导致小微企业贷款资金流向追踪难度大,小微企业信用贷款风险逐步浮现。本文在相关信贷风险管控研究的理论基础上,针对小微企业和信用贷款两个关键点,以A银行温州分行为例,对