时间序列是按照时间的先后顺序获得的数据集。人们获得的数据集大多数都可以看成是时间序列的形式。在时间序列分析当中一个非常重要的研究内容就是时间序列的预测,也就是根据当前和过去的观测值预测将来值。准确的时间序列预测对人类的生产生活都具有非常大的实际意义。现实世界中的时间序列变化规律非常复杂,因此时间序列预测是一个非常难的问题。目前,时间序列预测成为了机器学习的一个重要研究领域。用回声状态网络进行时间序列预测在某些方面已经取得了较好的效果。回声状态网络是一种简化了的递归神经网络,它属于储备池计算中的重要研究内容。回声状态网络最大的优点就是训练简单,它只需要训练输出权值。在回声状态网络中,研究人员通过引入概率的方法可以提高回声状态网络的预测性能,也就是采用贝叶斯推理方法训练回声状态网络。在采用贝叶斯方法训练回声状态网络时,需要基于某种假设的概率分布进行推理,然而现实世界的时间序列数据特征非常复杂。为了能够对现实世界中的不同类型的时间序列进行精确的预测,本文开展了基于回声状态网络的时间序列预测方法及应用的研究。论文的主要工作和创新点归纳如下:(1)当模型中假设的概率分布与真实系统中存在的概率分布一致时,卡尔曼滤波器是训练回声状态网络的一种有效方法。通常情况下,卡尔曼滤波器是基于高斯分布的假设。但在实际应用时,这种高斯分布的假设对于一个真实的系统来说,常常是不能成立。为了克服模型假设的概率分布与系统真实的概率分布之间存在不一致的问题,利用协方差矩阵能反应对参数估计的准确程度和对以前训练数据的信任程度的特性,提出了具有膨胀因子的卡尔曼滤波器训练回声状态网络,解决了卡尔曼滤波器训练回声状态网络中存在的假设高斯分布不符合实际数据的问题。另外,通过李雅普诺夫稳定性理论分析该算法的收敛性。该算法提高了回声状态网络的预测精度并扩展了其应用范围。使用标准的测试时间序列和真实世界的时间序列进行相关的对比实验,结果表明所提出的方法可以建模不同类型的时间序列,并且预测性能优于其他方法。(2)递归神经网络可以高精度地建模复杂系统。回声状态网络作为一种递归神经网络设计的简化方法,研究使用回声状态网络进行长时间跨度的天气温度进行预测。气温预测是一个具有挑战性的问题,并且在能源、环境、工业和农业等领域受到了广泛的关注。在当前,气候模型和统计时间序列预测方法对于长时间范围的天气温度预测效果并不理想。在基于对每月记录的最大、平均和最小气温时间序列数据进行分析的基础上,使用预测误差计算出自适应膨胀因子,利用自适应膨胀因子修改变其协方差矩阵,在递归计算过程中控制训练数据的置信水平,提出了基于贝叶斯递归学习的回声状态网络,提高了回声状态网络对长时间跨度的气温预测精度。使用英格兰地区的气温时间序列进行对比实验,实验结果表明所提出的方法可以预测未来12个月范围的每月最大、平均和最低气温,并获得了较好的预测精度。(3)在贝叶斯方法中,把先验的概率分布假设为高斯分布是非常普遍的。之所以假设为高斯分布,有两方面的原因。一方面是高斯分布有非常好的数学性质,很方便实现贝叶斯推理计算;另一方面是有中心极限定理作为理论依据,中心极限定理认为当有很多未知原因产生的混合噪声可以认为服从高斯分布。然而,实际系统中的数据很多是不能用高斯分布来描述的,因为这些数据中存在异常值和复杂的噪声。针对实际的时间序列中可能存在异常值和复杂噪声情况,利用学生t分布的重尾特征来描述包含异常值的数据,推导出了基于学生t分布的贝叶斯递归学习方法,提出了基于学生t分布的回声状态网络,解决了基于高斯分布的回声状态网络不能对包含离群值的时间序列进行有效预测的问题。在推导基于学生t分布的贝叶斯递归学习方法中,对两个自由度不同的学生t分布做近似处理,保证了计算出的似然函数仍然是学生t分布。实验结果表明,该方法在时间序列中存在异常值时是鲁棒的,与其他方法相比,具有较高的预测精度。