基于Hadoop平台径流分析方法的研究和应用

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:lyx_suda
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
干旱和洪水灾害已经严重制约了我国的经济建设,国家对水情监控分析的要求也越来越高。现代水文监测系统,不仅需要有准确的短期分析能力,以防御突发的自然灾害;还要有中长期的分析能力,以便制定应对措施。传统单服务器模式的水文监测系统,由于速度慢、能耗高、可扩展性差,已经不能满足新的需求。水利云平台由于具备资源分配和调度的特点,是水利行业水文信息化的发展方向。本文以径流为分析对象,径流指的是单位时间流经封闭管道或明渠有效截面的流体量。在流域的径流分析中,流域的初始水文特征和气候条件是影响未来径流变化的重要因素。因此,确定符合实际情况的初始水文条件和解释因子是提高中长期径流回归分析精度的有效方法。本文研究了Hadoop云计算技术和径流分析的方法,结合径流分析业务,设计和实现了的水文监测分析平台。主要工作如下:(1)采用B/S和C/S的模式,设计基于Web应用服务器的水文信息监测系统。B/S模式直接与用户进行交互,C/S模式用于接收水文采集终端和外部数据。(2)以传统的水文平台为基础,通过额外扩展一个Hadoop计算集群,设计和搭建了一个由Web服务器和Hadoop计算集群组成的水文信息监测平台。利用Hadoop平台的HDFS和MapReduce解决水文大数据的存储和计算问题。HDFS提供了分布式的文件存储,MapReduce提供了并行的数据处理框架。(3)详细研究了随机森林和支持向量在分类回归问题中的应用。相对于单棵决策树,随机森林在保证训练样本分类回归效果的同时,具有更好的泛化能力。由于支持向量机对样本规模要求不高,也被应用于分类回归的问题求解中。本文在水文站径流预测业务的基础上,利用随机森林和支持向量机对黄河流域站点的月径流进行回归分析,通过对比找到合适的分析模型。(4)在随机森林的构建过程中,区别于传统的单机模式,本文采用分布式的方式,将训练过程分解为若干个Map子任务下发至集群的不同子节点完成。子任务全部生成完成后,被返还到主节点的HDFS文件系统中保存,得到完整的模型。实验表明这种并行化的方式,能够提高计算效率,并且随机森林算法对月径流回归也较为准确,是一种可行的径流分析方法。
其他文献
自2002年以来,国家局先后召开了十次全国网建现场会。也逐步从过去重点突出行业内部的,市营网络运行的发展,使终端的管理体系更加现代化。烟草行业,市场竞争激烈,这样使零售
前期介入工作准备过程中,不但要深入了解即将展开前期介入工作项目的基本情况,还要注重人才之间、团队之间、行业之间前期介入工作经验的交流与总结。
清末民初的山东沿海商业文化是在齐文化、鲁文化和儒家思想、兵家智慧以及西方文化的共同影响下形成,是山东地域文化中的重要组成部分。近年来随着山东沿海地区商贸经济的迅
经过十几年的高速发展,建筑行业粗放经营向精细化转变,社会公众对房地产的期望和要求也越来越高,绿色建筑、智能建筑、节能建筑等理念已经深入到越来多的房地产项目中。同时
随着市场竞争的加剧,商业银行作为一家经营货币的高风险行业,其面临的风险也日益彰显。而财务风险又是经营风险的货币体现形式,更是呈现多变化趋势。风险防范就是商业银行在识别
<正>师幼互动是指在教师与幼儿之间发生的各种形式、性质和程度的相互作用及影响。作为幼儿人际互动的一种主要形式,师幼互动对幼儿发展具有非常重
本文将水处理使用的表面活性剂加入在不同的陶瓷原料(安塘泥、镁质泥、膨润土)中,并与传统减水剂进行对比,研究其解胶效果。结果表明,表面活性剂对安塘泥的解胶效果不明显,pc
从2010年3月31日试点实施以来,我国融资融券业务一直处于不断的完善过程之中,其建立的每一个步骤都关系股票市场微观结构的改变。融资融券业务的开展,是我国个股第一次真正能
随着经济全球化的发展,物流业作为一个新兴产业,正在全球范围内迅速兴起,在企业管理控制中,物流管理的地位和作用与日俱增。钢铁企业作为典型的制造类企业,其生产物流成本在