论文部分内容阅读
随着社会对各种能源电力需求的日益增长,新能源不断并网接入,电力交易数据涵盖常规能源与新能源,面临的数据采集规模量从目前的GB增长至TB甚至于PB级别。在未来的电力市场环境下,面对如此海量高纬度的大数据,进行电价预测还需要更进一步提升高并发、高性能的数据处理技术要求。智能电网的云计算存储模型已取得一定研究成果,但是基于大数据环境的电价预测模型的并行算法却少有提及。在互联网技术飞速发展的背景下,本文针对大数据环境下电力市场运营的关键问题即短期电价预测进行研究。首先,分析国内外电力交易市场的运作模式及传统能源电力和分布式能源电力的交易特点,研究电价预测方法及大数据相关技术,将集成经验模态分解算法与在线核极限学习机模型相结合得出优化的电价预测模型。在此基础上,针对单个极限学习机的局限性,根据集成学习的思想结合多个在线核极限学习机提出基于集成学习在线核极限学习机模型。该模型算法相比较传统的算法具有更高的精确性和泛化能力,在大数据噪音的条件下其优势更加明显。其次,基于集成学习的电价预测模型算法结合多个极限学习机模型,在串行数据处理方式中,会造成时间复杂度的增加。根据大数据的特征以及数据处理技术原理,提出基于MapReduce的多个在线核极限学习机模型的并行算法,可使一个MapReduce作业完成多个模型的在线训练。通过算例测试验证提出的基于MapReduce的并行算法可以有效的提高模型的准确度和实时的训练速度。最后,基于MapReduce的并行模型算法,针对分布式架构的电力交易系统设计并实现电价预测功能。,搭建远程大数据环境,安装配置相应版本的Hadoop服务器,并配置运行Cloudera和Cloudera Desktop;在该架构下设计实现的电价预测系统功能主要包含三个功能模块:预处理模块用于将原始电价数据预处理,得到载入模型的对应数据;学习训练模块运用并行模型算法进行多个在线核极限学习机模型的并行化训练;预测模块用于对学习训练后数据的预测以及展示。通过电价预测模型结合大数据并行处理技术使得模型拓展性能更强、训练速度更快以及预测稳定性能更高,对于以未来分布式能源并网为发展目标,在大数据环境下新一代电力交易平台的应用研究,有一定的实用价值。