面向多领域科学数据管理的工作流模型及其溯源机制的研究

来源 :上海大学 | 被引量 : 0次 | 上传用户:yuanjin123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
各科学领域的采集和处理能力的发展使得科学数据蕴含的价值被不断开发,为了更好地管理和利用日趋增加的科学大数据,研究和设计良好的管理生态或方法来提高科学大数据管理和分析水平成为各科学领域的研究热点。目前,各个机构不断开发以自身领域为导向的科学数据管理系统;科学工作流也已经成为科学家用来构建和执行科学实验的主流工具;为探究科学数据的本质和实验结果的源头,科学家还研究了许多溯源方法来验证、复制和重现科学实验。然而,由于科学数据异构多源的特点,科学家往往需要在多个领域的科学数据管理系统和种类繁多的数据库以及科学装置中获取数据,并且需要投入很多精力来对构建的科学实验进行优化处理,而开发人员在设计管理系统时,通常需要考虑模块间的兼容和耦合问题,这需要对各个科学领域有很深入的了解。此外,面向科学工作流的粗粒度溯源的方法意味着工作流步骤内部细节的损失,导致可能会推断出不完整甚至不正确的数据和调用关系,并会带来依赖区分问题。围绕这些问题,本文展开了面向科学数据管理、处理和分析的科学工作流及溯源机制的研究。具体研究内容和创新点如下:1)提出了面向异构多源科学数据的多领域分角色体系架构SciSA(Science-Software Architecture),并用于跨领域地管理多类型科学数据。该架构通过功能上的区别被划分为四个功能区,并使用REST技术对接口进行设计,从而降低了模块间的耦合性;然后,该架构整合了多领域、多类型的数据库,并且对接入第三方系统提供支持,从而实现了存储和共享多领域科学数据;最后,为了增强对体系架构运行机制的理解,还对其资产、组件、接口等要素进行了形式化的描述,并且在此基础上设计和定义了相应的角色,依据角色在对应功能区内的应用场景对体系架构进行了描述。2)提出了基于DAG的科学工作流模型及其流程优化机制DP-SWF(DAGbased Scientific Workflow Model and its Process Optimization Mechanism),并用于构建和优化科学实验从而有效利用多领域科学数据。该模型通过有向图和标识符来建立可在多个领域使用的工作流,并通过层次结构的形式将模型底层透明化处理,使得科学家专注于高层的科学实验。在此基础上,针对科学家提交的科学实验提出了流程优化机制,该机制依据实验任务间的关联关系,使用模糊聚类对其进行聚类分析,从而得到模块划分方案,并在此基础上使用设计结构矩阵的方法对各模块内的实验单元执行秩序进行了规划。最后,在myExperiment数据库的数据集上进行了针对该科学工作流模型正确性和有效性的实验,结果证明了DPSWF在满足科学实验需求的前提下确实能对实验流程起到优化作用。3)提出了科学工作流驱动的细粒度溯源模型CF-PROV(A Content-rich and Fine-grained Scientific Workflow Provenance Model),并用于解决工作流的粗粒度溯源问题。该溯源模型给出了基于溯源图和溯源文档的表示方法,并将其作为从科学工作流信息到溯源信息的转换规范和声明,从而减少了捕获溯源信息的编程开销,并使得溯源信息更规范;其次,为进一步丰富和细化溯源信息,该模型将科学工作流溯源划分为了数据溯源和过程溯源,并从语法维度和字段层面的数据推演提高了溯源信息的可读性;最后,在天文学、高能物理、生物学和计算机科学四个领域上进行了实验,结果证明了该溯源模型确实能捕获更丰富细致的溯源信息,并且其存储和通讯开销是可接受和可处理的。
其他文献
无线Mesh网络具有构建成本低、网络维护方便、健壮性强、服务覆盖可靠的优点,广泛应用于社会生活、工业控制、环境监测、军事行动等领域。网络编码可以减少数据传输次数,提高无线网络的吞吐量以及改善网络的可靠性,然而编码冲突是影响网络编码性能的一个重要因素。现有编码感知路由数据传输算法大多注重于提高编码机会,而忽略编码机会和编码有效性的权衡。针对上述问题,本文提出基于CACO(Coding-Aware R
移动机器人群网络通过机器人之间的相互作用、控制合作与协调,可以应用于战场通信、精准农业、灾难搜救等场景。然而在实际的部署中,由于移动机器人的高移动性导致拓扑快速变化,移动机器人网络的通信性能显著下降,难以保障高的传输质量。本文针对面向群移动模型的机器人群路由算法进行研究,旨在提高网络连通性和吞吐量。本文的主要工作和创新点包括以下两方面:1.为了解决机器人群网络链路频繁中断问题,提出了基于伺服骨干网
《炎炎日正午》是爱尔兰作家伊丽莎白.鲍恩以二战为背景创作的的一部文学小说,作者以一场音乐会开篇,用极细腻的笔触刻画人物心理,从侧面展现了伦敦遭受的空袭和空袭下人们的情感体验和各种复杂心态,表现了背叛、自我发觉、剥夺的主题,从小处着眼营造大氛围,描写细腻,情节逼真生动,这正是鲍恩小说的独特风格和魅力所在。对于这部语言细腻、风格独特的文学作品,笔者决定采用莱斯的文本类型学作为本文理论指导,以在译文中再
国有企业在中国经济转型发展中地位突出,历届中国政府都对此高度重视并在国有企业改革中发挥着举足轻重的作用。中国国有企业的历史发展、现实情况和改革方向,使得现代企业制
意识形态安全是国家安全的重要环节,关系到国家和社会的稳定与发展。在当前思想和文化更加多元化的背景下,大学生的主流意识形态安全面临着新的挑战。少数民族大学生是民族地
随着国家大力推动互联网战略布局,网络直播越来越受到我国观众追捧与喜爱,网络直播客户群体数增长迅速,网络直播市场规模越来越大。截至2020年3月全国网络直播用户规模达9.03亿。线上的网络用户这么多,导致了我国的线上经济发展的越来越好,消费形式渐渐的从线下转为了线上。2020年由于新冠疫情的影响,让网络直播得到了迅速的发展,预计2021年,网络直播市场规模将达到0.3万亿元,随着网络直播渗透率不断提
学位
党的十九届四中全会《决定》中明确指出:“健全党组织领导的自治、法治、德治相结合的城乡基层治理体系,健全社区管理和服务机制,推行网格化管理和服务,发挥群团组织、社会组织作用,发挥行业协会商会自律功能,实现政府治理和社会调节、居民自治良性互动,夯实基层社会治理基础。”社区是社会有机体的基本构成单元,是人们生产生活的基本空间,是党和政府密切联系群众的“最后一公里”,也是基层社会治理的基础性平台。推动社会
税收关系人民生活水平的提高,也是影响国家稳定和发展的重要因素,与国家民族的命运息息相关。税收征管是保障税收和规范收入分配功能的基本手段。税收是否能达到预期目标在很大程度上取决于税收征管的执行、管理和监督的质量和效率。进入21世纪以来,中国的经济呈现“新常态”,经济增长速度从高速增长转为中高速增长,税收增长速度也实现了放缓,如何通过提高税收征管效率保证税收收入的增长引起税收理论界和税务机关的高度关注
本文是一篇有关儿童文学作品的翻译报告,所选文本《南茜和梅梅》(Nancy and Plum)是美国著名畅销儿童文学作家贝蒂·麦克当纳的作品。本文尝试在接受美学理论的指导下探究儿童文学翻译。接受美学的核心内容是读者中心地位和期待视野,对于儿童文学翻译具有极大的指导和启发意义。本文在了解儿童文学特点和儿童读者的期待视野后,分析在翻译实践过程中遇到的难点,并采取相应的翻译策略旨在满足儿童读者的期待视野。
无线自组网在很多领域都有重要应用,如战场环境、临时会场、野外探测甚至是地下矿井等。OLSR协议是已成为国际标准的一个重要的无线自组网路由协议,但是该协议初始设计在安全