基于Hadoop的海量交易记录查询系统研究

被引量 : 0次 | 上传用户:senjian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,人们的消费习惯也在转变,网上购物以其方便快捷的特点受到越来越多人的青睐。随着越来越多的商家进驻电子商务网站,商品种类和数量迅速增多,伴随着用户巨大的访问量和庞大的交易额,电子商务网站将产生海量的交易记录,传统关系数据库的处理能力正面临严峻的挑战。云计算技术在如今数据急剧膨胀的时代应运而生,通过利用网络连接大量不太昂贵的计算节点,并采用分布式软件将节点虚拟成一个可靠的高性能计算平台,云计算可以提供“几乎无限”的计算和存储能力。云计算为海量数据的存储和处理提供了一种新的解决方案。Hadoop是一个对大数据进行分布式处理的云计算框架,它可以使用户在不了解分布式系统底层细节的情况下,开发分布式程序对大数据进行处理,作为一个开源的系统,Hadoop成为企业界和研究领域的热点。本文通过对Hadoop的深入分析和研究,根据交易记录查询系统的需求,设计并实现了基于Hadoop的海量交易记录查询系统。首先对Hadoop及其相关技术做了研究,着重介绍了Hadoop云计算框架中的HDFS分布式文件系统和HBase分布式数据库,分别介绍了HDFS的特性、系统框架、副本存放策略和HBase的系统框架及数据模型。其次,重点分析了HBase的存储特点,通过分析HBase的数据存储方式、Region定位方式和写数据过程,提出了系统设计的优化和改进建议。接着,对基于Hadoop的海量交易记录查询系统进行了设计和实现,主要包括数据接入层、存储层和查询层;为了解决集群中节点时间不同步的问题,设计并实现了TSS时间同步子系统。最后,通过具体的测试用例对系统进行功能测试和性能测试,并对测试结果进行了分析,验证了系统的可行性和正确性。
其他文献
与以往学者研究不同,本文基于创投功效的监督假说、在对相关理论进行分析的基础上.从“过度监督”和“监督不足”两个角度对国内创业投资与公司绩效关系进行探讨,这对我国创
针对福州地铁2#线竹岐停车场运用库高支模的支架搭设,通过承插型盘扣支架在地铁停车场施工过程的实际应用,从支架体系构成、风险分析、现场安全管控等环节进行介绍,阐述盘扣
通过间歇实验,探讨了温度和发酵时间对非灭菌的厨余垃圾发酵产乳酸及其光学异构体的影响.结果表明,控制温度在35℃时,发酵液中乳酸浓度远高于45℃和55℃,发酵120h后,总乳酸的产率和
量刑视野下的民意是社会成员在刑罚正义和常识、常理、常情指引下,并在对特定刑事案件的量刑问题作出的各种判断与评价基础上,所形成的基本思想共识。现实表明,虽然其没有直接和
运用SWOT分析法对目前国内医院开展无创助产技术的优劣势、存在的机遇与挑战进行综合分析,并提出相应的发展策略。医院实施无创助产技术的优势:助产士对该技术的认可程度及技
随着各类大型集团的国际化战略转变以及客户群数量的急剧增长,提高客户服务支持的质量和效率已成为各类集团提升企业核心竞争力并践行社会责任的一个重要保障措施。当前各类
任何一种教学模式都有特定的理论依据用以阐述教学活动的实施步骤以及各环节所要完成的任务。苏格拉教学法是适用于语言教学的一种有效手段,系统功能语言学、建构主义学习理
长期以来写作一直是EFL教学的重点和难点,随着信息时代的到来,网络技术的发展为EFL写作教学提供了全新的视角。本研究尝试将在线网络社交平台整合入研究生英语写作教学,并在此基
改革开放40年来,我国金融扶贫工具不断创新演进,在不同时期为扶贫开发事业发挥了积极作用,至今初步形成了较为完备的工具体系。基于金融市场的一般划分,从信贷、保险和证券期
<正> 从心理学角度讲,“千篇一律”会造成学生的思维定势,因而缺乏联想力和创造力。心理学家赞科夫曾说过:“我们要让学生在研究某一事物时,既能从一个角度看问题,又能在必要