面向海量文本数据的多任务并行调度加载技术研究与实现

来源 :计算机研究与发展 | 被引量 : 0次 | 上传用户:e1r2s3
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着文本数据量的急剧增长,对传统的数据库技术在数据存储、实时数据加载等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量文本数据的存储及管理需求而研制的.根据文本数据的特点,通过对大数据按照其内容和时间等属性进行划分,使得对一批海量数据的加载过程被分解为若干不相关的加栽子任务,从而利用合理的并行调度算法使各个加栽子任务高度并行执行.MDMP中基于多任务并行调度加栽技术提供了高性能的加载.主要研究了多任务并行调度加载技术.
其他文献
目的 探讨关节部位不规则蹼状瘢痕挛缩畸形的修复方法.方法 对57例烧伤后遗不规则蹼状瘢痕挛缩畸形患者采用五瓣Z成形术及推进皮瓣修复术.结果 57例术后皮瓣均成活良好,关节
根据笔者多年从事铁路专用润滑油脂供应工作的感受,结合近年来铁路润滑油脂在政策、需求、供应、生产、研发、技术服务、质量监督等多方面的变化趋势,提出了创建“中国铁物”
盐渍土是在一定的气候、地形、土壤、水文地质等自然条件下形成的,是我国北方干旱区和滨海区常见的非地带性土壤,天津市地处华北平原东北部,天津市为退海之地,加之气候原因,
针对实际样品的特性进行C18SPE柱净化处理及色谱条件的优化,采用毛细管气相色谱法测定了食品中的富马酸二甲酯.该方法的线性相关系数为0.99996,最小检出浓度为1.5μg/mL,平行
优化发电机组配置提高能源转换效率,是应对当今能源价格高企及钢铁生产成本居高不下的有效途径。文章分析比较了不同类型的煤气发电机组,并研究50O万吨以上不同规模流程的大中
我国水禽遗传资源丰富,种质资源的保护与开发利用对我国及世界水禽产业的可持续发展和经济社会的稳定与发展重大.本文对我中水禽种质资源概况、资塬保护现状、存在问题以及发
针对同步攻击这一困扰扩频水印技术的难题,提出了一类基于字符特征的文本数字水印系统编码映射规则,以及相应的扩频水印加载与检测模型;并利用字符语义在水印加载与检测过程
一、全国纸及纸板生产及消费情况(一)据中国造纸协会调查资料,2009年全国纸及纸板生产企业约有3700家,全国纸及纸板生产量8640万吨,较上年7980万吨增长8.27%.消费量8569万吨,
随着互联网普及率的不断提高和大众媒介的网络化,网络媒体逐渐成为使用率最高的网络应用.媒介的互动性和网络的海量性导致了网络评论的大量出现,使得网络评论主流观点的自动
自然环境下的日常动作识别有着广泛的应用前景和重要的研究价值.不同于以往在结构化和孤立条件下进行的动作识别,自然环境下的日常动作是连续的,视角多变并常发生遮挡.本文提出了分布式视觉系统下日常动作的在线识别方法.时间轴上的滑动窗口每个时刻取一段视频帧,采用基于"包容形状"的视角无关的体态表示方法提取体态特征向量,并用隐马尔科夫模型进行识别.动作类型的搜索空间由环境知识推理得到.遮挡检测和部分遮挡下的体