随着全球经济的高速发展,各类社会活动对能源的需求日益剧增,在精确的负荷预测帮助下,电力能源的生产,调度情况将会有极大的改善,从环境保护的角度上也将节约许多不必要的能源浪费。电力负荷预测是当今电力系统管理中最重要的一项任务之一,然而如今社会用电模式日益丰富,传统的负荷预测模型可能无法应对此类复杂的情况。本文首先简要阐述了负荷预测的相关概念,基于负荷的不稳定特性和周期性分析了电力负荷变化的本质,并列举若干类常用的经典负荷预测方法。基于此,本文提出一种以Transformer增强的LSTM语义提取能力的TEL（Transformer Enhanced LSTM）模型,并且与小波变换策略组合的集成预测模型WTEL（Wavelet-TEL）。对于LSTM在负荷数据中初步提取的矩阵表达,Transformer内部的自注意力机制和残差连接可以进一步抽象化原始的用电模式特征,即高级语义信息。在预测过程中使用该高级语义信息初始化LSTM网络的权重矩阵,增强模型对负荷序列动态特征的学习能力。另外,由于传统模型难以同时解决电力负荷中常具有的周期性与非线性问题。针对该问题提出了一种基于时序周期性残差建模的深度学习预测方法TLSTMSA（Temporal LSTM with Self-attention）。该方法将其负荷预测过程分为两个部分:一部分预测电力负荷变化的大范围趋势,仅基于负荷的周次、天次、时次信息,直接编码建模负荷随时间的整体趋势变化;另一部分建模原始负荷与整体趋势间的残差量,其中设计了带自注意力机制的LSTM网络作为编码器与解码器。本文的公开数据集采用来自美国德州电力可靠性委员会以及第九届“中国电机工程学会杯”全国大学生电工数学建模竞赛所使用的实际负荷进行算例仿真。首先,通过不同的数据集验证了所提出TEL模型在单步预测下的有效性,并且在结合小波变换后,验证了序列的有效分解再单独预测后重新组合,能够在一定程度上提升准确率。其次,实验结果表明了TEL模型在对比的统计学习方法、机器学习方法、神经网络方法上预测能力的提升。在TLSTMSA模型中,采用了特征选取的另一种方法,即根据负荷的日期信息直接建模预测,而非将历史负荷输入模型中。通过消融实验分析了TLSTMSA模型内不同模块对负荷预测精度的提升能力。在多时间尺度的预测任务中,TEL与TLSTMSA模型预测精度均高于其他对比模型,且在不同区域的预测任务中误差表现稳定,泛化性较高。