基于云计算的海量数据处理平台设计与实现

来源 :电讯技术 | 被引量 : 0次 | 上传用户:jaky111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对传统并行处理技术在海量数据处理中存在的实际应用问题,利用云计算技术强大的计算能力、高效的海量数据处理方式,结合关系数据库实时访问的优点,在Hadoop分布式计算框架基础上,采用MapReduce架构,设计并实现了基于云计算的海量数据处理平台。实践证明,该系统在计算能力、稳定性、可扩展性等方面都优于传统并行处理的技术,能有效解决海量数据大并发访问。
其他文献
<正> 波音退休工程师新造5架Me262 波音公司两位退休员工正在干一件再现历史的事——把5架按原样仿制的Me262送上蓝天。鲍勃·哈默原来是波音民机集团一个部门的副总裁,吉姆
以我国现有废弃混凝土为原料,研究废弃混凝土中重金属含量,采用模拟德国水槽试验法,以不同粒径、不同pH值、不同重金属元素(Cd、Cr、Cu、Ni、Pb、Zn)为影响因素,研究废弃混凝
在综述相关研究文献的基础上,利用宏观统计数据首先对甘肃省区域文化产业效率进行分析,结果表明:甘肃省文化产业效率整体水平较低,区域间差异明显,绝大部分地区处于规模报酬
LLC半桥谐振变换器以其高效率、高功率密度等优点成为近年业内研究的热门拓扑。这里设计了基于LLC谐振变换器的500 W LLC多路输出DC/DC变换器。在分析了LLC软开关特性后,介绍
针对日益严重的DoS(拒绝服务)网络攻击行为,提出了一种RED(相对熵检测)算法。该算法基于相对熵理论,利用网络流量的自相似特性,通过判断相邻时刻流量之间的相对熵值是否发生
<正> 茹志鹃是当代享有盛名的女作家,她自五十年代初登上文坛。到一九五八年《百合花》的发表,逐渐形成了自己独特的风格。之后,作者坚持自己的创作道路,又连续发表了《静静
数据源的异构、GIS服务规范的自定义以及分布式存放等问题制约了空间信息的广泛共享和应用。本文基于空间信息共享平台建设,围绕服务动态聚合的思想,结合OGC的标准规范和技术
结合工程实例研究了采用粉煤灰和矿粉双掺技术配制C60高强高性能混凝土应用关键技术。从混凝土的原材料选择、和易性、经时损失、压力泌水和抗压强度等方面进行研究,通过配合
<正>项目介绍裸眼3D手机贴膜是一项集合高级技术,实现手机裸眼看3D的产品。普通手机只要安装相关软件,贴上裸眼3D膜,即可裸眼观看效果完美的3D视频,同时还可以将普通视频、普
根据电子封闭图的设计需要,对少齿数齿轮传动变位系数限制曲线方程和质量指标曲线方式进行了系统化、归一化的数学处理。出于增加实用性的目的,在封闭图中引入了等中心距线。