基于云存储的异构海量数据搜索平台设计

来源 :信息技术 | 被引量 : 0次 | 上传用户:dh184866884
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对云储存中充斥的各种各样异构数据带来的数据搜索复杂的问题,采用多核网络处理器技术构建平台内部硬件加速,结合MapReduce模型设计了API应用程序接口。在数据的搜索过程中,利用Sheduler为媒介对chunk Num个数据子模块划拨给操作模块,并在CPU-GPU并行条件下进行MapReduce流程操作,异构数据搜索平台又将工作chunk进行细化以提升数据的搜索能力。利用WC、SM、MM和KM四种负载测试信息对系统平台进行性能测试,结果显示四种信息的不平衡性均随着数据粒度不断上升,其中,MM数组相乘轨迹的非平衡性自4000开始向上攀升,而SM字符串配、WC字数统计和KM迭代聚类的非平衡性分别对应8000、12000和12000粒度级。
其他文献
[目的/意义]随着我国政府开放数据的发展,质量问题日益凸现。而对数据质量的微观评价,不仅是用户选择数据集的依据,也是提供者质量管理的基础。[方法/过程]通过对北京、广州
本文在辨析了与"恶搞音乐"密切相关或相似的几个概念的基础上,重新总结整理了"恶搞音乐"的内涵和外延,并综合和优化了学术界已有的对其进行分类的方式,详细论述了"恶搞音乐"
油水相对渗透率曲线是油藏数值模拟工作最基础的资料之一。对油水相对渗透率的处理通常有3种方法。在处理原理的基础上,剖析了这些方法的适用性。实例表明,对于非均质严重的
2月4日,国务院公布了《关于进一步做好防范和处置非法集资工作的意见》。《意见》提出“防打结合、打早打小”的监管理念,明确了防范和处置非法集资的监管职责,立足建立长效机制
报纸
曼氏无针乌贼Sepiella maindroni de Rochebrune(以下简称乌贼),是我省海洋渔业的主要捕捞对象。随着夏汛大黄鱼资源的衰退,对乌贼的利用也随之加强,致使1981年以来乌贼生产呈现
第五代移动通信技术主要以解决未来吉比特量级的无线连接、触觉互联网和物联网等应用场景中所需求的超高频谱利用率,极低延时和高效能效等为驱动力。滤波器组多载波(Filter B
随着电子技术的发展,计算机的应用也越来越普及,工业控制计算机系统不同于一般的用于科学计算和管理的计算机系统,它的工作环境比较恶劣,周围的各种干扰随时随地威胁着它的正
随着科学技术的发展,文化产业和互联网产业逐渐开始融合,通过中间传动机构的产业整合,互联网产业与文化产业相互渗透、共同发展,拓宽文化产业和互联网产业发展空间,互联网市
为了深入研究我国地方政府当前数据开放的现状,关注其在平台建设、数据共享、鼓励公众参与等方面的实现形式和实现程度,本研究首先基于数据开放过程从实效评价角度构建政府数