论文部分内容阅读
随着计算机网络技术的迅速发展和互联网的高速普及,信息数据量已由TB级升至PB级,并仍呈爆炸式地增长。因此,如何对大型数据集进行深度分析,并提出更加高效的且较通用的分布式计算模型,是当今大数据处理领域的研究重点。本文针对以上需求,从当前多种学科领域的数据密集型信息提取等实际问题出发,通过分析其中的共性与特性,抽象出能够适用于现今大多数多目标决策以及反馈式动态更新问题的并行计算逻辑。然后,本文借鉴MapReduce等计算模型和计算中间件,基于HBase数据库,设计并实现了一个MTDF(MultiobjectiveTargets and Dynamiclly Feedback)分布式计算模型。另外,针对现有模型在计算和资源管理效率方面的问题,本模型使用了一些较高效且实用的解决方法,使得开发者能够充分地利用系统中现有的资源。本文最后通过一个股票预测的实验,说明了如何在此计算模型的基础上进行开发,也验证了该模型的性能和有效性。