论文部分内容阅读
随着大数据时代的到来,基于Software-as-a-service平台的云数据存储技术得到飞速发展,云服务商为用户的数据提供弹性计算以及存储空间的服务越来越受到欢迎。当前大数据的发展趋势主要围绕实用性、性能以及可恢复性为目的。首先,一些光纤网络采用XSEDE,ESnet,以及Internet2等方式为用户提供高速链接。然而,由于各种限制因素的存在,比如次优协议优化,低效的端到端路由,发送/接收端磁盘性能瓶颈以及服务器处理器性能局限等因素,制约了用户无法获取理论上的高速网络。其次,用户通过数据外包,可以减轻数据在本地存储以及维护的负担。但由于数据脱离了用户的掌控范围,使用户数据的安全性也受到了极大的挑战。因此,本文从数据传输吞吐量优化以及共享数据完整性验证两方面出发进行研究:针对传统大数据密集型可扩展的计算系统在数据源利用和数据传输方面效率不高的问题,提出一种基于全级C阶矩并行流数模型预测广域大数据吞吐量优化方案。首先,为提高并行流数的预测精度,以提高瓶颈链路的利用效率为目的,设计等效并行流数选取方式;然后,借鉴部分C阶矩模型和完全二阶矩模型,构建全级C阶矩模型,并且设计低采样吞吐量优化算法框架,降低计算复杂度;最后,通过在不同大小数据集上的实验表明,全级C阶矩并行流数的预测模型更适合于大数据传输,并且效率更高。随着云数据存储以及共享服务的发展,人们通过团队合作的工作模式越来越普遍,团队成员不仅可以访问和更新数据,而且可以相互共享数据的最新信息。然而存储在云上数据是在开放式的网络环境下,其完整性极有可能遭到破坏。因此,针对共享数据提出了一种保护隐私的共享数据完整性验证的方案。本方案引入第三方验证(TPA)实现对共享数据完整性的公开验证以及周期性检查,并且能支持共享数据的动态更新,还可以对损坏数据块进行快速识别。通过对上述方案的实验仿真以及数学方法的理论分析,证明方案的安全性以及可行性。