基于Hadoop的网络海量数据采集及处理平台开发

被引量 : 13次 | 上传用户:caikuairen
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前随着移动网与互联网的融合加剧,用户使用的数据类业务日益丰富,并已经成为信息传递的主要方式。这些业务数据以IP数据报格式在互联网上传输,目前基于网管的网络质量指标并不能有效地根据用户的行为特性对业务进行管控,准确反映用户行为。针对这种情况,需要对IP包进行连续采集,研究用户行为特征分析体系及数据业务的规律评测与分析系统,提高网络对业务及用户特征的预测和感知能力,推动未来网络可控可管化发展。网络数据包的采集是实现这一需求的基础,对后续数据处理及用户行为特征的分析具有重大的意义,将进一步推动未来网络的可控可管化发展。随着网络数据采集工作的展开,数据量不断积累增多,海量的数据影响着处理系统的研究与设计,单靠单一数据库系统来完成所有的数据分析处理工作已不能满足实际的需要,因此,需要提高对数据的存储处理能力,满足大数据环境下对数据处理的要求。对数据进行准确地分析才能展现出数据的价值,服务于用户行为特征分析体系和未来网络的研究。这将有助于准确刻画网络的行为,指导实际的网络部署和实施有效的流量控制,推动面向服务的未来互联网体系结构与机制的研究。本文针对上述领域展开相应的研究,研究包括以下方面:(1)高速链路数据包捕获技术;(2)海量数据存储技术;(3)海量数据分析技术;(4)数据特征分析与展示。
其他文献
20世纪中后期,苏东剧变,社会主义阵营被消弱。为解决内忧外患,越南共产党在充分汲取越南社会主义改造和建设经验教训的基础上,开始进行革新开放。进入21世纪后,经济全球化迅猛发展
企业文化是企业生存和发展的必要条件,是建立企业核心竞争力的前提与基础,更是企业实现基业长青的根本保障。所以,企业文化的建设与研究已成为大多数企业讨论的永恒话题。而
股指期货以沪深300指数为标的,沪深300指数代表了中国股市的整体走势,是集中了有代表性的多种股票的研究,基本认为其反映了中国股市的高低,个别公司股票价格的异常反应对大盘指数
随着我国市场经济的不断发展,安全、合理的资本结构已成为企业发展、壮大的关键。国内外学者对资本结构理论进行了不断深入的研究,同时也根据各行业的实际情况进行了相关的实证
DNA甲基转移酶是一种在原核和真核生物高度保守的酶,能够在基因组中的DNA复制后对其胞嘧啶C5位点进行修饰,参与体内多种重要生理过程,主要包括:调节基因表达、基因印记、维持
随着互联网的高速发展,大型在线视频网站得到了众多用户的青睐,同时便携式摄影设备的高度普及,使得网络音视频数据量呈爆炸式增长,由此产生的海量音视频文件的存储分发问题已
随着文明的进步和城市的发展,历史街区的复苏及其带动周边区域发展的效应逐渐引起了社会各界的关注。作为历史街区的主角,历史建筑的修复与改造问题也随之成为焦点。早在20世纪
伴随着国际产业链的发展,国际贸易活动在全球范围内的日益频繁,供应链乃至全球供应链也形成并发展起来,其对与跨国公司的采购活动影响日益加剧。现代企业之间的竞争力已不再
当今社会大龄未婚现象的愈演愈烈成为了大众媒体和社会各界关注的热点问题,大龄单身青年的数量呈现急剧上升的态势,而在这个群体中,高年龄、高学历、高收入的“三高”剩女面临的
随着网络技术的快速发展,网络信息系统对国民生产与日常生活的影响越来越大,与其相关的信息安全方面内容也逐渐受到了人们的重视。信息系统的风险评估研究就是在这一背景下,