多源异构数据集成工具的设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:helly986
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现如今,在国内各行各业的发展都受到互联网和大数据影响的大形势之下,政府部门也开始进行数字化办公的推广。一直以来,政府部门之间的数据共享交换方式一般都是线下人工交流传输,且存储模式也是较为原始的。随着社会的发展,各行各业的数据量也逐渐呈指数级的增长,数据的来源也越来越复杂繁多,如何解决数据存储以及如何更好的利用数据也成为了政府部门的新挑战。针对上述问题,本文实现了一个多源异构数据集成工具,该系统以政府各部门的使用需求为具体实现目标,结合政府部门的实际情况,基于云计算、大数据采集与存储、数据清洗等先进技术,着力于解决县级政府范围内各职能部门内多种来源的结构化数据和非结构化数据的统一集成,并且本系统为二次开发预留了接口和丰富的数据集,为政府各部门提供了 Excel等办公软件类文件数据处理、上传与存储、模板下载、多级用户部门信息管理等功能。论文的主要工作如下:根据政府内各部门职能人员的需求进行需求分析,对具体业务模块进行细化。描述系统中的用户与系统之间具体的交互流程,以及系统对不同用户所提供的功能。对系统所要完成的通用数据转换框架、多源数据集成管理、用户与部门信息管理等功能进行UML建模来详细的说明,同时分析了系统所要具备的非功能性需求;对多源异构数据集成工具进行整体架构的设计完善和各模块功能实现。给出了一种改进的随机森林算法并使用Roaring Bitmap算法,解决异构数据导入过程中可能会存在的格式不正确、缺失或者重复等关键问题;针对异构数据导入关系型数据库这一难点,给出了一种解释型数据动态转换框架,首先将数据导入非关系型数据库,再进一步转换导入关系型数据库;在系统设计实现方面,采用Spring Boot框架,详细描述各模块内每个功能的实现过程,并基于系统需求设计实现数据库逻辑和物理表结构;在完成系统的编码工作后,根据需求分析文档进行测试用例设计。在某县部署实际运行环境,根据所设计的测试用例对系统进行详尽的测试并记录结果。系统测试部分主要围绕测试系统三大功能模块的主要功能,同时测试各个功能的响应时间是否满足性能要求、系统是否能够通过压力测试以及使用的算法是否对功能有改进;经过系统测试验证了该系统的各个功能逻辑处理正确,各个功能的响应时间也在理想范围内,可供用户进行正常使用。在多源异构数据集成工具上线后,各个功能均正常运行,用户所有需求均已满足,目前已经投入使用。综上所述,多源异构数据集成工具在促进政府数据集成等方面具有重大意义,可以促进科技政府、电子政务、数字办公的建设。
其他文献
简约治理作为我国传统乡村的主要治理模式,具有低风险、低成本及高效率的治理优越性,较好地维系了乡村社会秩序。然而,随着市场经济的不断发展,乡村社会的人际结构、家庭结构、生计模式、道德观念等方面发生了巨大的变迁,以科层治理为特征的正式规则和以简约治理为特征的非正式规则在乡村治理实践中共同发挥着重要的作用,呈现出复合治理的鲜明特征。这种建构在集熟人社会与现代陌生人社会、市场经济与农耕经济、历史传统与现代
期刊
我国的金融体系呈现分业经营、分业监管的格局,资产证券化依据此主要分为信贷资产证券化、企业资产证券化和资产支持票据。由于信贷资产证券化在我国市场上出现的较早,且一般是由银行业金融机构作为发起人,其发展速度也较快,产品发行数量和存量规模也较大,因此相比于企业资产证券化,其规章制度较为完善,专家学者对其的研究也比较深入,研究成果也极为丰富,包括了很多充分的理论基础和实证分析的研究。而有关企业资产证券化的
学位
在当前“碳中和、碳达峰”目标背景下,针对当前电解铝行业碳排放较高的问题,分析电解铝企业碳盘查的主要关注点,包括碳核算边界的确定、核算范围及方法、碳排放管理等,并结合当前电解铝企业的发展情况,提出提升清洁能源比例、使用高品质预焙阳极、升级改造现有槽型、节能技术创新、加强生产管理、建立碳排放管理体系、加大废铝回收利用等应对策略,探讨促进电解铝节能降碳高质量发展的路径。
期刊
“五项管理”主要涉及作业、睡眠、课外读物、手机使用以及体质健康,旨在引导学生科学合理安排学习和生活,有效解决家庭教育实际问题,促进学生身心健康发展。中学生对外界事物比较好奇,且学习模仿能力比较强,教师和家长需强化科学管理,帮助其养成良好的生活学习习惯,树立正确价值观。基于“五项管理”政策,教师需积极落实作业、睡眠等管理工作,引导学生主动阅读课外读物,促使其感受学习的乐趣,并积极进行体育锻炼,避免沉
期刊
近年来,各地区引导基金发展呈现出遍地开花的局面,与经济发展相似,长春市引导基金发展也已呈现出落后于经济发达地区的现状。长春市股权投资基金公司目前仅管理“长春市产业投资引导基金”一只基金,公司投资亦为基金投资,成立4年以来虽投资成果显著,但也已暴露出大量投资管理问题。优秀的投资管理能力是决定管理公司和基金生存与发展的核心,研究公司投资策略的现状与优化,可规范长春市引导基金行业的管理和运行,繁荣长春市
学位
城中村是我国快速城市化背景下的一种特殊现象[1]。在高速城市化进程之后,城中村处于扩张与更新并存的时期。高密度一方面为城中村的形态、空间和功能的多样性呈现提供了可能性;另一方面高密度给城中村带来了交通拥挤、公共空间过度挤占、环境污染,空间居住质量低等问题。我国城市建设正在从增量发展向存量更新时代过渡,对于高密度的城中村,拆除重建的代价巨大,如何在高密度条件下优化城中村的空间形态,提升城中村的空间质
学位
随着市场经济快速发展,人们生活水平逐渐提升,对小家电产品的需求也持续扩大,使小家电企业拥有了更大的市场发展潜力。但随着国际市场竞争的不断加剧,我国小家电企业需要通过有效的措施不断进行改革创新,才能在市场竞争中处于不败之地。基于此,文章从当今世界小家电发展趋势入手,分析了小家电企业面临的机遇与挑战,提出我国小家电企业发展策略。
期刊
十九大以来,我国明确提出“加快建设制造强国,加快发展先进制造业”的指导方针,旨在培育若干世界级先进制造业集群。国务院则发布了《中国制造2025》,作为开展制造强国战略的首个十年行动纲领。此后,各级政府齐头并进,改革财税政策,不断实现融资环境优化,帮助制造业在不同领域均达到历史最高水平。2020年首次国务院常务会议的首个议题就是确定促制造业稳增长的策略,鼓励采用差异化信贷政策,适当提高制造业中长期贷
学位
艺术学评价体系,是关系到艺术学的学理建构、学科建设和中国艺术发展的重大问题。艺术学评价体系创新发展的核心问题,是要在深刻理解艺术学在新时代社会生活整体价值体系中的地位与功能、深刻把握中国艺术学发展的特殊规律与现实要求的基础上,确立“以人民为中心”的评价理念、价值导向和根本原则,阐明评价体系建设的战略擘画、实施方法和本性内涵,处理好人文性与科学性、价值性与工具性、人民性与专业性、民族性与世界性、特殊
期刊
2021年我国脱贫攻坚取得了全面胜利,依照现行标准所有农村贫困人口全部脱贫,同时也是“乡村振兴战略”构建、推进的时期。“乡村振兴战略”能够良好地稳固脱贫攻坚的成果。党的十九大报告中明确提出实施“乡村振兴战略”,并提出了“产业兴旺、生态宜居、乡风文明、治理有效、生活富裕”的总要求,把乡村建设放到了首位。农民专业合作社的发展模式是在新时代乡村振兴战略大背景下,使合作社成为助推乡村振兴的重要力量和主要载
学位