海量数据分析平台中算法自动集成机制的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:nengding
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数据分析技术的发展,数据分析的应用越来越广泛,数据分析在企业的决策和产品设计中也占据着越来越重要的地位。而由于企业的发展,产品数量、产品类型以及用户数量剧增,企业内部的数据量也呈爆炸性的增长,这些都为数据的存储、运算以及管理带来了极大的挑战,数据潜在价值的挖掘越来越困难。传统的数据分析系统已经不能胜任对海量数据的分析处理工作。而随着云计算技术的日趋成熟,基于云计算的海量数据分析平台应运而生。在基于云计算的数据分析平台中,用于处理数据的能力算法是数据分析的核心部分,而算法的丰富性、算法处理能力的多样性也是衡量一个数据分析平台的实用性的重要标准。因此,如何高效便捷的集成不同类型的第三方数据分析算法成为了一个非常关键的问题。为解决上述问题,本文提出了一种海量数据分析平台中算法自动集成机制。通过此机制,可将第三方开发的数据分析算法方便、快速的集成到现有数据分析平台中,并且可与平台中其他算法协同运行,完成更为复杂的分析流程。本文研究内容包括:1、算法模型的建立:对基于海量数据分析平台中的算法的特征进行研究,建立一个统一的算法模型,实现对不同算法的统一描述。2、算法的自动模型化:对不同算法的自动模型化,将各种各样的算法自动转换为符合算法模型描述的模型化算法。3、模型化算法在平台中的自动集成:使数据分析平台可以自动的识别模型化之后的算法,并将其集成到平台的算法资源库中。4、算法的管理:包括算法的删除、修改、更新等内容。5、最后,本文将该机制运用到真实的案例中,将算法快速、便捷的集成到平台中,验证了论文成果的可行性。
其他文献
小儿偏头痛是年长儿童神经系统常见疾病之一,以血管性头痛多见,表现为反复发作性头痛。丰润区中医院应用芎芷祛风合剂治疗小儿偏头痛患儿52例,收到较好的疗效,报告如下。1资料与
煤层气勘探阶段,地震勘探的作用仍存有争议,对地震工作的合理部署影响较大。通过对沁水盆地煤层气勘探井位部署的实例分析,讨论了构造发育程度复杂、孤立地质体发育时,常规二
在开采石油的过程中,如果发生泄漏,特别是海洋石油泄漏,会造成严重的污染,不仅会影响到海洋方面的相关产业,还会破坏海洋的生态环境。因此,海洋石油污染问题成为当前人们关注
金属有机骨架化合物(MOFs)因具有可调节的孔隙度和多样化的应用功能,已经成为一种非常重要的多功能杂化材料。镧系金属有机骨架化合物不仅具有丰富多样的结构,更为重要的是其
1.传播途径和侵害部位猪滑液支原体关节炎是由飞沫经呼吸道传播,但并不引起呼吸系统的症状。该病原侵入容易感染猪只的关节和腱鞘,导致其肿胀、瘸腿。2.诊断要点猪只患有猪滑
互联网金融作为互联网信息技术与金融相结合的产物,自产生以来便具有旺盛的生命力,在我国发展尤为瞩目。本文从第三方支付模式、P2P网络借贷模式及资金理财模式等三个方面分
用不同比例的木霉、白腐真菌、酵母、乳酸菌处理玉米秸秆,通过筛选出最佳组合,然后对肉牛进行饲喂试验。结果表明,添加筛选出的菌种组合,发酵后的玉米秸秆微贮味酸甜,改善饲
邢台市2004年5月开始对艾滋病(AIDS)患者提供免费抗逆转录病毒药物和免费中医药治疗,现对正在接受中西医结合治疗的28例艾滋病患者的疗效进行分析。
期刊
随着医学的发展和不断细化如成立新科室,疾病高发季节患者急剧增加,护理人员的短缺现象就显得更加突出。为了应对这种局面,让患者得到及时的治疗和护理,医院往往会从患者相对