论文部分内容阅读
摘 要：在当前的大数据时代下，关于电网线损的信息数据量越来越多，为了能够有效提高数据处理效率，同时进一步保障电网线损分析的精准性，可以专门针对电网线损分析搭建起相应的大数据平台。而其中所运用的各种关键技术则直接影响着电网线损分析结果。基于此，本文将通过结合相关研究资料，着重围绕基于大数据平台的电网线损分析关键技术进行简要分析研究。
关键词：大数据平台;电网线损分析;关键技术
引言
伴随我国电力电网的迅猛发展，电网大数据获得了普遍性的运用。现如今，数字化电网的运用空间正在逐步拓宽，作为电网大数据的关键性网络，数字化供电机制在电网行业中具备不可比拟的效用。通常来说，数字化电网的重要着力点在于推动购电端以及售电端的紧密融合、有机联动。数字化电网兼具了计算机手段、信息管控手段等的长处，可以提高电网运作的高效性。在数字化电网迅猛推进的大环境下，相关的工作人员逐渐地对数字化供电机制施以精细化的管控，现如今已经上升为了电网大数据的首先选项。通常来说，精细化管理即相关的工作人员采用准确、细分化的管控手段，高效而系统性地提高电网大数据的管控专业程度以及效用程度，同时还能够有效地防止出现电网管控和运作过程中不必要的损耗现象。
1数字化供电系统的整体结构
相关的工作人员利用对数字化供电机制电网讯息资料的搜集和整合，能够顺利地获得数字化供电系统的整体结构信息。通常来说，数字化供电系统的整体结构涵盖了调度SCADA机制、配网DSCADA机制、生产管控机制PMS等几大机制系统，其中，调度SCADA机制通常承担着搜集大于35kV电压变电站的数据信息，其表现的终端讯息是10kV馈线。PMS和DSCADA机制是数字化供电机制优化的关键性机制系统，而EAI机制则是数字化供电机制的系统性平台。在数字化供电系统运转期间，其配网DSCADA机制所发挥的效用也是不可比拟的。具体来说，数字化供电系统的整体结构涵盖了诸多的功能性结构，发挥数字化供电系统效能的重点就体现在达成DSCADA系统与其他几大系统平台的资源互动和共享，同时全面而系统地达成对PMS、CIS、配网DSCADA、负控、调度SCADA等机制信息讯息的统一整合与集成，接着相关的工作人员再按照电网运转的现实状况予以改善和升级，实现精细化线损解析。在数字化供电系统的整体架构之中，主要涵盖服务站、双LAN、搜集工作站、机架Mo-dem等，同时还涵盖其他监控设备以及主站系统设备。服务器通常发挥着DSCADA的效能，还能有效地储存历史数据库中的资源。搜集工作站的效用通常体现在开展讯息的接收、监视和调节，然后经过命令传输、即时信息传输以及GPS卫星时钟的对时等等，如此就能够智能化地整合好通道误码率以及出现事故的时间节点，最终生成特定的日志予以储存。双LAN有主备工作以及并行工作，在此之中，一个LAN产生问题的时候，通信将迅速地转换至其他LAN上进行。其他工作站通常承担机制的执行和养护的效能，同时实时地监控设备，如Mu等分布式监控设备、事故判断设备。总的来说，数字化供电系统涉及到的设备众多，架构十分繁杂，一同为供电服务奠定坚实的基础。
2大数据平台下的电网线损分析关键技术
2.1大数据采集
在电力大数据平台中，通常将电网企业目前使用的关系数据库、数据仓库等作为其主要数据来源。在数据传输时，不仅要求在关系型数据库、分布式存储中，数据可以根据自身实际要求进行自由、灵活切换传输，同时也需要确保在众多数据同步传输时，平台仍然具有较高的数据传输效率，各项业务系统能够实现正常运行。考虑到在传统系统当中所采用的ETL抽取工具，基本只能简单完成同步各数据源，如文件与服务数据源的同步等，難以达到数据在关系数据库与分布式存储间的同步。因此需要适时将大数据采集技术运用其中，首先在进行数据抽取时，主要利用Sqoop负责抽取各系统间的数据，在Sqoop的作用下可以直接向Hadoop当中的Hive等数据存储组件，导入关系型数据库中的各项数据，而在此过程中，Sqoop也可以从Hadoop系统当中直接进行数据抽取，随后立即将其导入至对应的关系型数据库中[1]。在完成数据抽取之后，需要对其进行“清洗”，即通过运用数理统计与数据挖掘等专门的数据清理规则，对脏数据进行转化，是指可以成为与电网线损分析要求相符的数据类型。最后通过立足具体电网线损分析要求转换导入其中的业务信息即可。例如通过将原本分散的若干变电设备信息进行统一合并，使之可以集成至同一设备信息表当中。而在数据挖掘关联分析或是对其进行离散化处理的过程中，转换原数据使之成为非连续性字典类别，再使用离散化数据实现数据挖掘关联即可。
2.2加入“密集阵”模式，不留死角现场排查
通过大数据综合分析，能够锁定部分问题，剩余问题由于城网供电线路非常复杂，供电方式多以环网为主，再加上高科技窃电手段的兴起，所以剩余问题必须现场核实后才能准确“诊断”，为提高城网线损治理效率，将城网综合线损排查队分成两支队伍，一支队伍针对10KV线路进行排查，另一支队伍针对公变台区进行排查。10KV线路排查队主要针对线路下所带专线、专变以及台区总表，公变台区排查队主要针对台区下所带用户。现场排查队采用“密集阵”模式，不留死角进行现场排查，尤其对双电源供电的用户以及过去有过窃电历史的用户重点排查，对发现窃电的用户现场直接下达窃电通知单，防止事后用户破坏窃电证据。
2.3大数据分析
基于大数据平台的电网线损分析当中，另一项至关重要的关键技术便是大数据分析技术，其直接影响着最终电网线损分析结果的有效性和精准性。虽然目前用于大数据分析的技术众多，包括分布式与内存计算技术等等，但为了有效提高海量信息数据的分析与处理效率，本文认为电力数据平台可以直接采用Hadoop离线分布式计算技术，代替传统的多次循环迭代算法，一次性完成所有电网线损相关数据的集中整理和深入分析。针对在分布式电网设备拓扑关联分析等当中，需要使用进行两次以上数据全量扫描的算法，则可以直接选择使用Spark内存计算技术[2]。具体来说，大数据平台主要先通过运用聚类或关联分析等数据分析挖掘技术，对存在异常线损率的电力线路与台区进行精准识别，而后利用电网拓扑数据构建相应的电网拓扑分析模型，并以此为基础立足电网线损分析要求，建立起电网线损分析模型。最后通过运用多维度分析展示技术，搭配使用Hive数据仓库围绕线损计算能量节点，从各个维度对电网线损进行计算和统计分析，而后将各类关联信息进行集成化处理，展示最终计算结果即可有效帮助工作人员了解线损情况，确定具体线损位置与线损原因，进而有针对性地制定出相应的解决方案。
2.4打破专业壁垒，营销多专业协同机制全面优化
通过建立城网综合线损管理体系，打破了过去“烟筒式”的管理壁垒，数据分析团队通过集中办公，各大平台数据在同一时刻互相分享，摒除了过去数据流转慢，沟通效率慢，整改速度慢的弊病，提高了数据的准确性与时效性。
结语
总而言之，在基于大数据平台的电网线损分析中，大数据采集和存储技术、大数据分析与数据安全技术等，均为提高电网线损分析的有效性和精准性发挥了至关重要的帮助作用。因此工作人员在实际构建大数据平台下的电网线损分析系统中，还需要积极运用各项相关关键技术，以此充分发挥系统应有效用，切实解决电网线损问题。
参考文献：
[1]孙立华.基于Hadoop技术的电网线损分析系统研究与实现[D].南京：东南大学，2017.
[2]陆巍.基于大数据的配电网线损分析[J].电子技术与软件工程，2017（14）：186-188.
关键词：大数据平台;电网线损分析;关键技术
引言
伴随我国电力电网的迅猛发展，电网大数据获得了普遍性的运用。现如今，数字化电网的运用空间正在逐步拓宽，作为电网大数据的关键性网络，数字化供电机制在电网行业中具备不可比拟的效用。通常来说，数字化电网的重要着力点在于推动购电端以及售电端的紧密融合、有机联动。数字化电网兼具了计算机手段、信息管控手段等的长处，可以提高电网运作的高效性。在数字化电网迅猛推进的大环境下，相关的工作人员逐渐地对数字化供电机制施以精细化的管控，现如今已经上升为了电网大数据的首先选项。通常来说，精细化管理即相关的工作人员采用准确、细分化的管控手段，高效而系统性地提高电网大数据的管控专业程度以及效用程度，同时还能够有效地防止出现电网管控和运作过程中不必要的损耗现象。
1数字化供电系统的整体结构
相关的工作人员利用对数字化供电机制电网讯息资料的搜集和整合，能够顺利地获得数字化供电系统的整体结构信息。通常来说，数字化供电系统的整体结构涵盖了调度SCADA机制、配网DSCADA机制、生产管控机制PMS等几大机制系统，其中，调度SCADA机制通常承担着搜集大于35kV电压变电站的数据信息，其表现的终端讯息是10kV馈线。PMS和DSCADA机制是数字化供电机制优化的关键性机制系统，而EAI机制则是数字化供电机制的系统性平台。在数字化供电系统运转期间，其配网DSCADA机制所发挥的效用也是不可比拟的。具体来说，数字化供电系统的整体结构涵盖了诸多的功能性结构，发挥数字化供电系统效能的重点就体现在达成DSCADA系统与其他几大系统平台的资源互动和共享，同时全面而系统地达成对PMS、CIS、配网DSCADA、负控、调度SCADA等机制信息讯息的统一整合与集成，接着相关的工作人员再按照电网运转的现实状况予以改善和升级，实现精细化线损解析。在数字化供电系统的整体架构之中，主要涵盖服务站、双LAN、搜集工作站、机架Mo-dem等，同时还涵盖其他监控设备以及主站系统设备。服务器通常发挥着DSCADA的效能，还能有效地储存历史数据库中的资源。搜集工作站的效用通常体现在开展讯息的接收、监视和调节，然后经过命令传输、即时信息传输以及GPS卫星时钟的对时等等，如此就能够智能化地整合好通道误码率以及出现事故的时间节点，最终生成特定的日志予以储存。双LAN有主备工作以及并行工作，在此之中，一个LAN产生问题的时候，通信将迅速地转换至其他LAN上进行。其他工作站通常承担机制的执行和养护的效能，同时实时地监控设备，如Mu等分布式监控设备、事故判断设备。总的来说，数字化供电系统涉及到的设备众多，架构十分繁杂，一同为供电服务奠定坚实的基础。
2大数据平台下的电网线损分析关键技术
2.1大数据采集
在电力大数据平台中，通常将电网企业目前使用的关系数据库、数据仓库等作为其主要数据来源。在数据传输时，不仅要求在关系型数据库、分布式存储中，数据可以根据自身实际要求进行自由、灵活切换传输，同时也需要确保在众多数据同步传输时，平台仍然具有较高的数据传输效率，各项业务系统能够实现正常运行。考虑到在传统系统当中所采用的ETL抽取工具，基本只能简单完成同步各数据源，如文件与服务数据源的同步等，難以达到数据在关系数据库与分布式存储间的同步。因此需要适时将大数据采集技术运用其中，首先在进行数据抽取时，主要利用Sqoop负责抽取各系统间的数据，在Sqoop的作用下可以直接向Hadoop当中的Hive等数据存储组件，导入关系型数据库中的各项数据，而在此过程中，Sqoop也可以从Hadoop系统当中直接进行数据抽取，随后立即将其导入至对应的关系型数据库中[1]。在完成数据抽取之后，需要对其进行“清洗”，即通过运用数理统计与数据挖掘等专门的数据清理规则，对脏数据进行转化，是指可以成为与电网线损分析要求相符的数据类型。最后通过立足具体电网线损分析要求转换导入其中的业务信息即可。例如通过将原本分散的若干变电设备信息进行统一合并，使之可以集成至同一设备信息表当中。而在数据挖掘关联分析或是对其进行离散化处理的过程中，转换原数据使之成为非连续性字典类别，再使用离散化数据实现数据挖掘关联即可。
2.2加入“密集阵”模式，不留死角现场排查
通过大数据综合分析，能够锁定部分问题，剩余问题由于城网供电线路非常复杂，供电方式多以环网为主，再加上高科技窃电手段的兴起，所以剩余问题必须现场核实后才能准确“诊断”，为提高城网线损治理效率，将城网综合线损排查队分成两支队伍，一支队伍针对10KV线路进行排查，另一支队伍针对公变台区进行排查。10KV线路排查队主要针对线路下所带专线、专变以及台区总表，公变台区排查队主要针对台区下所带用户。现场排查队采用“密集阵”模式，不留死角进行现场排查，尤其对双电源供电的用户以及过去有过窃电历史的用户重点排查，对发现窃电的用户现场直接下达窃电通知单，防止事后用户破坏窃电证据。
2.3大数据分析
基于大数据平台的电网线损分析当中，另一项至关重要的关键技术便是大数据分析技术，其直接影响着最终电网线损分析结果的有效性和精准性。虽然目前用于大数据分析的技术众多，包括分布式与内存计算技术等等，但为了有效提高海量信息数据的分析与处理效率，本文认为电力数据平台可以直接采用Hadoop离线分布式计算技术，代替传统的多次循环迭代算法，一次性完成所有电网线损相关数据的集中整理和深入分析。针对在分布式电网设备拓扑关联分析等当中，需要使用进行两次以上数据全量扫描的算法，则可以直接选择使用Spark内存计算技术[2]。具体来说，大数据平台主要先通过运用聚类或关联分析等数据分析挖掘技术，对存在异常线损率的电力线路与台区进行精准识别，而后利用电网拓扑数据构建相应的电网拓扑分析模型，并以此为基础立足电网线损分析要求，建立起电网线损分析模型。最后通过运用多维度分析展示技术，搭配使用Hive数据仓库围绕线损计算能量节点，从各个维度对电网线损进行计算和统计分析，而后将各类关联信息进行集成化处理，展示最终计算结果即可有效帮助工作人员了解线损情况，确定具体线损位置与线损原因，进而有针对性地制定出相应的解决方案。
2.4打破专业壁垒，营销多专业协同机制全面优化
通过建立城网综合线损管理体系，打破了过去“烟筒式”的管理壁垒，数据分析团队通过集中办公，各大平台数据在同一时刻互相分享，摒除了过去数据流转慢，沟通效率慢，整改速度慢的弊病，提高了数据的准确性与时效性。
结语
总而言之，在基于大数据平台的电网线损分析中，大数据采集和存储技术、大数据分析与数据安全技术等，均为提高电网线损分析的有效性和精准性发挥了至关重要的帮助作用。因此工作人员在实际构建大数据平台下的电网线损分析系统中，还需要积极运用各项相关关键技术，以此充分发挥系统应有效用，切实解决电网线损问题。
参考文献：
[1]孙立华.基于Hadoop技术的电网线损分析系统研究与实现[D].南京：东南大学，2017.
[2]陆巍.基于大数据的配电网线损分析[J].电子技术与软件工程，2017（14）：186-188.