论文部分内容阅读
摘 要：在数据不断增长的背景中，在电子政务中普遍使用大数据技术处理政务数据，让电子政务服务步入进良好的轨道。基于此，本文首先分析了电子政务平台，然后分析了在大数据背景下，电子政务平台的应用框架。
关键词：大数据；电子政务；平台框架
中图分类号：D63 文献标识码：A 文章编号：1004-7344（2018）30-0329-01
引 言
在大数据背景下，数据有着多种多样的类型，电子政务数据也有着多种多样的形式。如何应用更好的处理呈现爆炸性增长的数据信息，成为了政府部门面临的重要问题。如今大数据技术已经成为了政务数据处理的关键技术，成为了挖掘数据价值的有效工具。因此，构建电子政务平台具有现实意义，需要分析平台应用框架，提升系统性能。
1 电子政务平台
1.1 电子政务
在大数据背景下，政府部门推动建设电子政务平台是必然趋势，能够让政府服务平台得到统一，让多个部门能够合作办公，对账户进行统一管理。应用电子商务平台能够有效的规避管理风险，借助大数据技术，推动一站式服务以及一体化政府的管理目标。借助大数据技术，提升政府的服务效果。相比于传统行政，电子政府最大的特点体现在行政电子化，行政无纸化以及传递信息网络化的特点。应用电子政务平台，能够让政府工作更加公开透明，让政府工作更加高效，推动政府服务的优化，优化政府和公民之间的关系，让公民和社会组织更好的参与到政府决策中，构建民主社会、和谐社会。
1.2 电子政务平台应用框架的条件
（1）电子政务由网络技术、硬件系统以及软件系统构成的综合服务系统。在硬件系统中，主要包含内部的局域网、外部的互联网、专用线路以及通信系统。软件系统主要包含库管系统、通信平台、用户管理系统、文件系统、人事系统、政策发布系统以及权限管理系统等等。
（2）电子政务作为处理政府内部事务以及公开事务的综合系统，除了政府行政事务之外，还包含立法事务、公共管理事务等，如社区事务等。
（3）电子政务作为先进、新型的管理系统，并不是将原本的管理系统原封不动的放置在互联网环境中，而是需要对其内部结构进行重新划分，对其业务流程进行重新组合。电子政务和原本的政务系统有着明显的差距。
2 大数据背景下的电子政务平台应用框架
2.1 平台结构
2.1.1 数据源层
对所有基础数据来源进行分析，包含政府自身各个部门的数据，也包含外部数据。例如：目前信息系统中的数据，和外部相关单位进行共享传输的数据，还包括接入互联网后的公开数据等等。
2.1.2 数据采集层
对数据的来源进行整合，对数据进行清理，对各种数据进行集成。利用ETL工具来实现不同部门、不同区域以及不同系统的数据的整合和处理，同时还能处理结构化、半结构化等数据，依照数据格式的不同，使用不同的数据采集技术。
2.1.3 数据储存计算层
在Hadoop生态体系基础上，提供大容量形式的数据储存，数据计算以及实时分析功能，对各类数据等进行储存，对底层大数据使用技术难度进行了屏蔽处理，用户在进行数据分析的时候，会和相应的数据进行结合最终形成作业，从而能够在计算资源上执行，形成分析结果也对上层服务进行反馈。
2.1.4 数据支撑层
在数据支撑层中，提供的是大数据的治理服务，对数据标准进行定义，对数据控制质量进行执行，让数据标准化程度得到提高，推动数据的可用性。给大数据的可视化提供分析功能，让海量数据以不同形状和颜色反映出数据的指标和关联，让用户能够更加直观的进行决策，给各类数据系统提供服务。
2.1.5 数据应用层
数据应用层作为应用大数据十分重要的技术，要设计成政务管理报表以及相关应用，例如数据的统计是从多个维度进行的动态统计，实现电子政务数据多个维度的指标分析，能够实现政务信息的公开，提供智能化数据决策，包括对数据的挖掘、对数据分析预测以及决策支持等。其中对数据的挖掘分析是数据和模型之间使用和分析的结果，将隐藏数据上的重要数据价值挖掘出来，对数据预测分析是在统计挖掘基础上，通过预测模型，充分结合问题的识别以及发展，数据的决策可以作为工作人员的参考。
2.1.6 数据展示层
数据展示层给用户提供了多元化数据分析，提供多种展示渠道，包含资产目录、网盘等。根据用户的不同，分权限提供给用户对应的内容。大数据的展现模板实现了各种业务的需求，在系统首页呈现出数据分析出来的成果。如对政务信息进行可视化呈现，使用同比、环比等方式更加直观的展示，常使用的方式是曲线图、饼状图以及柱状图等方式。
2.2 大数据处理
在使用大数据技术进行处理的时候，常使用Hadoop开源框架提供计算解决方案。Hadoop中使用的核心技术是Map Reduce以及HDFS[1]。前者是应用在处理分析数据的技术，也是大数据背景中热门技术。后者是将数据文件划分成多个集群节点中，将储存和计算两个节点合二为一，让传输成本和设备成本有所降低。前者使用的是并行处理数据模型，两个执行阶段分别为Map以及Reduce[2]。在Map执行阶段，数据的读取是分布式文件系统中进行的，数据被划分成多个部分，每一个部分和一个Map任务相对应，这些任务均匀分布在集群节点当中运行，运行的结果是多个中间鍵值对。在Map任务执行完成之后，再开始Reduce执行阶段。中间键值对被重新划分，每一个组和Reduce相互对应。这些任务同样在集群中的节点上运行。这种技术更方便于编程人员的工作，不需要过多注重底层代码，使用分布式的集群处理能够有效应对数据的爆炸性增长。但是HDFS能够更好的保证数据的集中、复制等，让数据可靠性和实用性得到保证，让系统整体性能得到提升。
3 结 论
综上所述，本文先是分析了电子政务平台以及电子政务平台应用框架的条件，然后研究了大数据背景下，电子政务平台的应用框架，平台结构要包含数据源层、数据采集层、数据储存计算层、数据支撑层、数据应用层、数据展示层，使用Map Reduce以及HDFS技术进行数据处理。
参考文献
[1]陈尚波.大数据时代基于云计算的电子政务平台研究[J].电子测试，2017（24）：59～60.
[2]刘 星.大数据背景下长沙市政府电子政务平台建设问题研究[D].广西师范大学，2017.
收稿日期：2018-9-12
关键词：大数据；电子政务；平台框架
中图分类号：D63 文献标识码：A 文章编号：1004-7344（2018）30-0329-01
引 言
在大数据背景下，数据有着多种多样的类型，电子政务数据也有着多种多样的形式。如何应用更好的处理呈现爆炸性增长的数据信息，成为了政府部门面临的重要问题。如今大数据技术已经成为了政务数据处理的关键技术，成为了挖掘数据价值的有效工具。因此，构建电子政务平台具有现实意义，需要分析平台应用框架，提升系统性能。
1 电子政务平台
1.1 电子政务
在大数据背景下，政府部门推动建设电子政务平台是必然趋势，能够让政府服务平台得到统一，让多个部门能够合作办公，对账户进行统一管理。应用电子商务平台能够有效的规避管理风险，借助大数据技术，推动一站式服务以及一体化政府的管理目标。借助大数据技术，提升政府的服务效果。相比于传统行政，电子政府最大的特点体现在行政电子化，行政无纸化以及传递信息网络化的特点。应用电子政务平台，能够让政府工作更加公开透明，让政府工作更加高效，推动政府服务的优化，优化政府和公民之间的关系，让公民和社会组织更好的参与到政府决策中，构建民主社会、和谐社会。
1.2 电子政务平台应用框架的条件
（1）电子政务由网络技术、硬件系统以及软件系统构成的综合服务系统。在硬件系统中，主要包含内部的局域网、外部的互联网、专用线路以及通信系统。软件系统主要包含库管系统、通信平台、用户管理系统、文件系统、人事系统、政策发布系统以及权限管理系统等等。
（2）电子政务作为处理政府内部事务以及公开事务的综合系统，除了政府行政事务之外，还包含立法事务、公共管理事务等，如社区事务等。
（3）电子政务作为先进、新型的管理系统，并不是将原本的管理系统原封不动的放置在互联网环境中，而是需要对其内部结构进行重新划分，对其业务流程进行重新组合。电子政务和原本的政务系统有着明显的差距。
2 大数据背景下的电子政务平台应用框架
2.1 平台结构
2.1.1 数据源层
对所有基础数据来源进行分析，包含政府自身各个部门的数据，也包含外部数据。例如：目前信息系统中的数据，和外部相关单位进行共享传输的数据，还包括接入互联网后的公开数据等等。
2.1.2 数据采集层
对数据的来源进行整合，对数据进行清理，对各种数据进行集成。利用ETL工具来实现不同部门、不同区域以及不同系统的数据的整合和处理，同时还能处理结构化、半结构化等数据，依照数据格式的不同，使用不同的数据采集技术。
2.1.3 数据储存计算层
在Hadoop生态体系基础上，提供大容量形式的数据储存，数据计算以及实时分析功能，对各类数据等进行储存，对底层大数据使用技术难度进行了屏蔽处理，用户在进行数据分析的时候，会和相应的数据进行结合最终形成作业，从而能够在计算资源上执行，形成分析结果也对上层服务进行反馈。
2.1.4 数据支撑层
在数据支撑层中，提供的是大数据的治理服务，对数据标准进行定义，对数据控制质量进行执行，让数据标准化程度得到提高，推动数据的可用性。给大数据的可视化提供分析功能，让海量数据以不同形状和颜色反映出数据的指标和关联，让用户能够更加直观的进行决策，给各类数据系统提供服务。
2.1.5 数据应用层
数据应用层作为应用大数据十分重要的技术，要设计成政务管理报表以及相关应用，例如数据的统计是从多个维度进行的动态统计，实现电子政务数据多个维度的指标分析，能够实现政务信息的公开，提供智能化数据决策，包括对数据的挖掘、对数据分析预测以及决策支持等。其中对数据的挖掘分析是数据和模型之间使用和分析的结果，将隐藏数据上的重要数据价值挖掘出来，对数据预测分析是在统计挖掘基础上，通过预测模型，充分结合问题的识别以及发展，数据的决策可以作为工作人员的参考。
2.1.6 数据展示层
数据展示层给用户提供了多元化数据分析，提供多种展示渠道，包含资产目录、网盘等。根据用户的不同，分权限提供给用户对应的内容。大数据的展现模板实现了各种业务的需求，在系统首页呈现出数据分析出来的成果。如对政务信息进行可视化呈现，使用同比、环比等方式更加直观的展示，常使用的方式是曲线图、饼状图以及柱状图等方式。
2.2 大数据处理
在使用大数据技术进行处理的时候，常使用Hadoop开源框架提供计算解决方案。Hadoop中使用的核心技术是Map Reduce以及HDFS[1]。前者是应用在处理分析数据的技术，也是大数据背景中热门技术。后者是将数据文件划分成多个集群节点中，将储存和计算两个节点合二为一，让传输成本和设备成本有所降低。前者使用的是并行处理数据模型，两个执行阶段分别为Map以及Reduce[2]。在Map执行阶段，数据的读取是分布式文件系统中进行的，数据被划分成多个部分，每一个部分和一个Map任务相对应，这些任务均匀分布在集群节点当中运行，运行的结果是多个中间鍵值对。在Map任务执行完成之后，再开始Reduce执行阶段。中间键值对被重新划分，每一个组和Reduce相互对应。这些任务同样在集群中的节点上运行。这种技术更方便于编程人员的工作，不需要过多注重底层代码，使用分布式的集群处理能够有效应对数据的爆炸性增长。但是HDFS能够更好的保证数据的集中、复制等，让数据可靠性和实用性得到保证，让系统整体性能得到提升。
3 结 论
综上所述，本文先是分析了电子政务平台以及电子政务平台应用框架的条件，然后研究了大数据背景下，电子政务平台的应用框架，平台结构要包含数据源层、数据采集层、数据储存计算层、数据支撑层、数据应用层、数据展示层，使用Map Reduce以及HDFS技术进行数据处理。
参考文献
[1]陈尚波.大数据时代基于云计算的电子政务平台研究[J].电子测试，2017（24）：59～60.
[2]刘 星.大数据背景下长沙市政府电子政务平台建设问题研究[D].广西师范大学，2017.
收稿日期：2018-9-12