论文部分内容阅读
随着大数据时代的来临,大数据已经在很多行业有着广泛应用,比如无人驾驶,语音识别,智能医疗,智能交通,犯罪预测,金融科技等。目前大数据在金融行业的主要应用有量化投资,企业评级,消费推荐等。金融行业的数据具有数据规整,数据量庞大,数据维数高,含噪等特点,如何在金融行业高效采集,存储,处理,分析数据是一个重要的研究课题。高维数据处理往往需要面对“维数灾难”问题,但大多数数据是冗余和稀疏的。特别对于金融大数据,从经济学的角度来说,大多数顾客相似;商品可以相互替代或依赖;很多股票是同类型的;过去出现的价格走势未来还有可能再次上演;成千上万只股票背后的随机性可能仅由几十个布朗运动驱动,这些经济学观点反映在数学中,就是重要的低秩性。低秩分析是一个研究处理大数据强有力的工具,可以通过对低维的研究来解决高维困境。传统的低秩分析方法存在计算复杂度高,需要设计额外找秩策略,模型不鲁棒等问题。本文给出了低秩分析的组模正则化方法,它具有自适应找秩,计算复杂度低,抗噪性能好等优点。本文首先总结了金融背景下的几类低秩问题,在第三章中就一般低秩分析问题给出组模正则化方法求解的框架,并进行了相关理论分析。随后就金融中的具体低秩应用问题,设计相应模型和求解算法,并在合成数据和真实问题上进行数值实验。具体结果如下:第一、本文就推荐系统中的低秩填充问题,设计了组模正则化模型GNRFM和加速地增广拉格朗日乘子法AALM。在合成数据,金融推荐系统,图像填充问题上进行数值实验。与传统方法相比,我们的模型和算法具有适应性广,抗噪性能好,防止过拟合的优点。第二、本文给出了低秩表示问题的组模正则化模型GNRFM和相应的AALM算法。低秩表示问题相较于矩阵补全问题计算复杂度高,变量不好求解。所以我们使用约束包含耦合变量的组模正则化模型来处理这个问题,相比于传统算法和模型,我们的算法和模型计算速度快,聚类精度高,抗噪性能好。特别对于股票聚类问题,我们可以聚类股票到它所属的行业,找出异常股票,并给出投资者好的投资建议。第三、本文就高维期权定价中的低秩逼近相关系数问题,设计了矩阵因子模型和坐标投影下降法。相比于传统算法,我们的算法高维问题表现良好,计算速度快,精度高,适用于高维蒙特卡罗模拟。