论文部分内容阅读
摘要：随着Internet的广泛应用，电子政务、电子商务以及企业ERP（Enterprise Resource Planning）得到迅猛发展，数据的采集、传输、展示、交互、等问题显得越来越重要。报表作为一种信息组织和展示的有力手段，是企业信息系统的重要组成部分。本文对电网大数据智能采集与分析平台进行分析，以供参考。
关键词：电网大数据;智能采集;平台分析
1当前公司数据管理存在以下四大难题
1.1多套系统并行，易成数据孤岛
包括计量、变电站、输电线路据、配网、EMS系统等数据，由于分管不同部门，有多套系统并行，形成数据孤岛。
1.2业务发展迅速，报表功能跟不上
当各个部门收集报表数据时，需要基层班组人工制作报表上报，工作量大，报表收集难度大，新增报表需求响应慢，无法立即实施。
1.3人工处理数据，效率低难复用
自动化系统不同的报表查询导出需制作不同的报表模板，且需要自动化维护员在系统制作系统用户无法自己操作，报表机读取报表速度慢且经常出现数据量过大卡死现象。根据二次系统安全防护要求自动化系统与办公网络无连接，所以报表导出后需要再转存至办公电脑才能发送给需求用户，增加工作量。
1.4业务数据量大，难以辅助决策;
系统用户报表需求各异，如公司计划部，每年9月8日需要统计网区所有变电站、出线的有功、电流、电压数据，用于线损计算;保护、方式专业每月需要统计变电站负荷、功率因数、主变及线路平均负载率、电压月报表等，数据量庞大并且每年报表模板不一致，个性化差异较大，无统一报表管理平台，用户、数据、报表分散，数据整合困难，不能综合分析。为解决以上难题，提出《电网大数据智能采集与分析平台》，提高报表定制效率，减少重复劳动。
2多源数据定制报表系统技术简介及与其实现目标
2.1技术简介
作为多源数据定制报表系统，可以零代码设计自定义报表，制作流程相当简单，如图1所示：
采用VBA编程，结合Microsoft excel表格友好操作界面设计报表系统，直接读取数据，只需添加数据标签，就可以轻松导出想要的数据，功能强大、性能优异，且易学易用、性价比高。通过使用报表系统，无需任何的IT协助，便可完成报表创建和分发工作，以直观的拖拽方式完成报表布局设计，无需掌握SQL等技術细节，满足数据钻取、打印和导出等多方面需求，便于设计出专业级报表布局，采用最先进的报表处理技术运用到电力行业中：
1）可制作各类报表：支持多数据源，能够根据一定的规则把不同来源的数据拼装成想要的报表样式和结果。
2）可制作各类填报：支持清单、卡片、主从等填报样式。并且支持分页填报，这对大量数据的填报是很有必要的。
2.2预期目标
1）需3-4人在2个工作日以上才能完成的报表，采用本平台后，只需要一个人，半个小时内就轻松高效完成大大提高工作效率。
2）本平台系统应用于调度班夜班负荷统计报表、贺州地调自动化系统月度运行指标报表、月度电压统计报表等上百个数据报表。
3系统的核心技术：
3.1数据过滤
面对企业内的大规模数据，单个报表中经常会有成千上万条的数据量，逐行查看数据是不切实际且非常耗时，并且不同类型的用户关心的数据或分析数据的角度也不同，因此通过数据过滤和筛选来帮助用户选择各自符合条件的数据，从而节省大量浏览数据的时间，避免一些无用的工作。系统提供了单条件、组合条件、级联条件和模糊条件对数据进行过滤筛选。
3.2交互式分析
报表系统为决策层报表提供了多样化的数据交互式分析能力，决策者不仅能够一目了然的分析业务发展趋势，还能以交互的方式操作报表数据，进行深入、透彻的业务分析。常用的交互方式包括：数据钻取、深化、排序、URL跳转、图表表格联动、动态表格、文档目录等。通过使用报表系统，无需任何的IT协助，便可完成报表创建和分发工作，以直观的拖拽方式完成报表布局设计，无需掌握SQL等技术细节，满足数据钻取、打印和导出等多方面需求，便于设计出专业级报表布局。
4平台使用说明
4.1条件
1）window 7系统电脑、Microsoft Office2007及以上版本或者wps软件;
2）Oraclexe安装包;
3）从Oracle获取数据（2007版）.xlsm报表收资平台;
4）报表定制模块.xls，例如调度班夜班报表template.xls;
5）遥测表.xls;
4.2软件安装
将Oraclexe安装包解压，双击运行OracleXEUniv.exe，选择下一步->选择接受->下一步->任意输入口令，如1->安装->安装完成。
4.3报表定制
4.3.1数据库数据采集功能流程图和详细流程描述
首先读取数据库的配置，包括ip、端口、用户名、密码等，建立数据库读取通道，根据定义好的域名表名进行数据读取，读取自动化系统webIII服务器的oracle数据库，将数据保存到相应的表中。
4.3.2报表格式定制功能流程图和详细流程描述
根据需要采集的报表数据要求，定义域名和表名，读取的原始数据是每个5分钟的采样点，求数据最大最小值、平均值等特殊要求需做公式定义数据模式，然后定制报表格式模板。
4.4系统数据库连接设置界面
在此界面可以看到数据库连接配置信息，包括：地址、SID、端口号、用户名、密码等。
4.5系统数据模板信息与定时设置界面
在此界面可以看到数据模板信息与定时信息配置，包括：模板文件名称、模板名称、域名从第几行开始显示、域名从第几列开始显示、是否复制其他sheet、每天几点执行、执行后是否关闭文档、定时执行按钮、定时停止按钮、执行按钮等。
5取得效益分析
5.1经济效益
计算依据：调度班的电量统计报表、监控班的日报表、自动化班的综合报表及各部门报表（约32个报表）都需要获取调度数据网的大量遥测数据，人工导出录入需要花费大量的时间，采用本软件平均每天能节省7小时工时，按每人每天工资300元人民币计算，每年节省人工费：65天*300元/人=10.95万元。
5.2社会效益
报表是企业应用系统中不可缺少的一种数据展现方式，它可以为用户特别是企业中高层用户提供直观的数据视图（进行自动的统计计算，如求和，求平均，对分组进行小计等），为用户制定商业计划和决策提供基础和依据。报表同时也是商业智能应用中实现数据可视化的方式之一。因此一套灵活并且可多源数据获取定制的报表工具可以为企业带来生产力的巨大提升。
结束语
本系统为单位各个部门大数据报表制作提供方便，使得调度班、自动化班等能轻松获取调度数据网的大数据，减轻工作量，每年经济效益可以达到10.95万元，本成果已在本单位内部推广，调度班、监控班、自动化班等班组已使用本报表系统生成报表。
参考文献
[1]翟进乾，张凯，李文建，王心怡，王国民.基于大数据的智能电网信息系统设计[J].电子设计工程，2019，27（23）：99-102+107.
[2]万方林.智能电网大数据处理技术现状与挑战研究[J].通讯世界，2019，26（10）：197-198.
关键词：电网大数据;智能采集;平台分析
1当前公司数据管理存在以下四大难题
1.1多套系统并行，易成数据孤岛
包括计量、变电站、输电线路据、配网、EMS系统等数据，由于分管不同部门，有多套系统并行，形成数据孤岛。
1.2业务发展迅速，报表功能跟不上
当各个部门收集报表数据时，需要基层班组人工制作报表上报，工作量大，报表收集难度大，新增报表需求响应慢，无法立即实施。
1.3人工处理数据，效率低难复用
自动化系统不同的报表查询导出需制作不同的报表模板，且需要自动化维护员在系统制作系统用户无法自己操作，报表机读取报表速度慢且经常出现数据量过大卡死现象。根据二次系统安全防护要求自动化系统与办公网络无连接，所以报表导出后需要再转存至办公电脑才能发送给需求用户，增加工作量。
1.4业务数据量大，难以辅助决策;
系统用户报表需求各异，如公司计划部，每年9月8日需要统计网区所有变电站、出线的有功、电流、电压数据，用于线损计算;保护、方式专业每月需要统计变电站负荷、功率因数、主变及线路平均负载率、电压月报表等，数据量庞大并且每年报表模板不一致，个性化差异较大，无统一报表管理平台，用户、数据、报表分散，数据整合困难，不能综合分析。为解决以上难题，提出《电网大数据智能采集与分析平台》，提高报表定制效率，减少重复劳动。
2多源数据定制报表系统技术简介及与其实现目标
2.1技术简介
作为多源数据定制报表系统，可以零代码设计自定义报表，制作流程相当简单，如图1所示：
采用VBA编程，结合Microsoft excel表格友好操作界面设计报表系统，直接读取数据，只需添加数据标签，就可以轻松导出想要的数据，功能强大、性能优异，且易学易用、性价比高。通过使用报表系统，无需任何的IT协助，便可完成报表创建和分发工作，以直观的拖拽方式完成报表布局设计，无需掌握SQL等技術细节，满足数据钻取、打印和导出等多方面需求，便于设计出专业级报表布局，采用最先进的报表处理技术运用到电力行业中：
1）可制作各类报表：支持多数据源，能够根据一定的规则把不同来源的数据拼装成想要的报表样式和结果。
2）可制作各类填报：支持清单、卡片、主从等填报样式。并且支持分页填报，这对大量数据的填报是很有必要的。
2.2预期目标
1）需3-4人在2个工作日以上才能完成的报表，采用本平台后，只需要一个人，半个小时内就轻松高效完成大大提高工作效率。
2）本平台系统应用于调度班夜班负荷统计报表、贺州地调自动化系统月度运行指标报表、月度电压统计报表等上百个数据报表。
3系统的核心技术：
3.1数据过滤
面对企业内的大规模数据，单个报表中经常会有成千上万条的数据量，逐行查看数据是不切实际且非常耗时，并且不同类型的用户关心的数据或分析数据的角度也不同，因此通过数据过滤和筛选来帮助用户选择各自符合条件的数据，从而节省大量浏览数据的时间，避免一些无用的工作。系统提供了单条件、组合条件、级联条件和模糊条件对数据进行过滤筛选。
3.2交互式分析
报表系统为决策层报表提供了多样化的数据交互式分析能力，决策者不仅能够一目了然的分析业务发展趋势，还能以交互的方式操作报表数据，进行深入、透彻的业务分析。常用的交互方式包括：数据钻取、深化、排序、URL跳转、图表表格联动、动态表格、文档目录等。通过使用报表系统，无需任何的IT协助，便可完成报表创建和分发工作，以直观的拖拽方式完成报表布局设计，无需掌握SQL等技术细节，满足数据钻取、打印和导出等多方面需求，便于设计出专业级报表布局。
4平台使用说明
4.1条件
1）window 7系统电脑、Microsoft Office2007及以上版本或者wps软件;
2）Oraclexe安装包;
3）从Oracle获取数据（2007版）.xlsm报表收资平台;
4）报表定制模块.xls，例如调度班夜班报表template.xls;
5）遥测表.xls;
4.2软件安装
将Oraclexe安装包解压，双击运行OracleXEUniv.exe，选择下一步->选择接受->下一步->任意输入口令，如1->安装->安装完成。
4.3报表定制
4.3.1数据库数据采集功能流程图和详细流程描述
首先读取数据库的配置，包括ip、端口、用户名、密码等，建立数据库读取通道，根据定义好的域名表名进行数据读取，读取自动化系统webIII服务器的oracle数据库，将数据保存到相应的表中。
4.3.2报表格式定制功能流程图和详细流程描述
根据需要采集的报表数据要求，定义域名和表名，读取的原始数据是每个5分钟的采样点，求数据最大最小值、平均值等特殊要求需做公式定义数据模式，然后定制报表格式模板。
4.4系统数据库连接设置界面
在此界面可以看到数据库连接配置信息，包括：地址、SID、端口号、用户名、密码等。
4.5系统数据模板信息与定时设置界面
在此界面可以看到数据模板信息与定时信息配置，包括：模板文件名称、模板名称、域名从第几行开始显示、域名从第几列开始显示、是否复制其他sheet、每天几点执行、执行后是否关闭文档、定时执行按钮、定时停止按钮、执行按钮等。
5取得效益分析
5.1经济效益
计算依据：调度班的电量统计报表、监控班的日报表、自动化班的综合报表及各部门报表（约32个报表）都需要获取调度数据网的大量遥测数据，人工导出录入需要花费大量的时间，采用本软件平均每天能节省7小时工时，按每人每天工资300元人民币计算，每年节省人工费：65天*300元/人=10.95万元。
5.2社会效益
报表是企业应用系统中不可缺少的一种数据展现方式，它可以为用户特别是企业中高层用户提供直观的数据视图（进行自动的统计计算，如求和，求平均，对分组进行小计等），为用户制定商业计划和决策提供基础和依据。报表同时也是商业智能应用中实现数据可视化的方式之一。因此一套灵活并且可多源数据获取定制的报表工具可以为企业带来生产力的巨大提升。
结束语
本系统为单位各个部门大数据报表制作提供方便，使得调度班、自动化班等能轻松获取调度数据网的大数据，减轻工作量，每年经济效益可以达到10.95万元，本成果已在本单位内部推广，调度班、监控班、自动化班等班组已使用本报表系统生成报表。
参考文献
[1]翟进乾，张凯，李文建，王心怡，王国民.基于大数据的智能电网信息系统设计[J].电子设计工程，2019，27（23）：99-102+107.
[2]万方林.智能电网大数据处理技术现状与挑战研究[J].通讯世界，2019，26（10）：197-198.