大数据量传输系统——设计与实现

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:fighterok
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大亚湾反应堆中微子实验是中美两国目前在基础科学研究领域最大的合作项目之一,其主要目标是利用大亚湾和岭澳核反应堆产生的反中微子来测定一个具有重大物理意义的参数--中微子混合角θ13。   在实验的过程中,预计将产生总共233TB的原始数据。这些数据需要传送到拥有强大计算和存储能力的高能所和LBNL(美国劳伦斯国家实验室)等其他实验室,以便高能物理科研人员进行物理数据处理和分析并得出最后结果。如何及时、安全地把这些数据从大亚湾传输到拥有强大数据存储和处理能力的高能所,然后再从高能所传输到其他各个实验室,成了一个急需解决的问题。   大数据量传输系统就是为了解决此类问题而提出的一个解决方案。大数据量传输系统采用流水线框架设计。流水线框架,顾名思义,把系统操作处理分解成串行的多个处理步骤执行,每个处理步骤都运行在单独的线程池,然后以工厂流水作业处理的方式处理这些步骤。对同一个操作来说,这些步骤是串行的,对不同的操作来说,这些步骤是并发执行的。之所以这样设计,一方面,各步骤并发执行,一个操作不必等到上一个操作完全结束之后才开始,这样可以提高系统的效率;另一方面,框架可以按配置来组装流水线流程,这样使得系统易于扩展。这两点正是大亚湾实验数据传输最需要的,也是其他传输方式所不具备的。   本论文详述了大数据量传输系统设计和实现,包括流水线框架设计与实现、流水线步骤设计及其使用到的关键技术等。论文的最后分析和总结了最近一次的系统测试结果。
其他文献
随着计算机的普遍应用和网络技术的迅速发展,计算机深刻地影响了社会经济生活各个方面。由于计算机的体系和计算机网络都采用开放式的结构,在结构上存在着安全缺陷,因此引发
学位
BIND是目前最流行的DNS服务器软件。版本9的BIND重新写了底层实现,进一步的提高了DNS的安全性和可靠性,新的多线程架构也对多处理器硬件提供了更好的支持。   但是当从本
并发环境中共享对象的互斥访问是并发系统设计与管理需要着重考虑的问题。事务内存(Transactional Memory)是近年来提出的一种解决这类问题的方法。其中,Harris提出一种软件
在公共上机实验环境中,每台计算机都安装有固定的操作系统和软件,学生不能自由添加删除程序,学生的私人数据文件只能保存在计算机的公共磁盘或网络磁盘上,没有独立性和安全性,容易
在印刷过程中,印刷品质量的好坏取决于与预先设计的印刷图案是否一致。在基于机器视觉的印刷品质量检测方法中,先由相机等设备将印刷品拍摄并传输到计算机中,再由计算机对印
目前RFID技术及应用已成为国内外研究热点。但绝大多数RFID应用仍是闭环应用,其关键原因在于,缺乏一套可靠高效的RFID公共服务基础设施和信息共享机制。RFID编码解析服务是核
随着视频编码技术的不断深入,传统编码技术更多地和诸如心理学和认知学等领域的知识结合起来,以便得到更好的视觉效果。近年来,随着生物学、心理学的发展,关于视觉显著度的研
随着信息技术的不断发展,数字图书馆慢慢成为人们获取信息和知识的重要途径。数字图书馆能提供的信息和知识的载体也由最初的简单的文本,发展到现在多种多样的音频、视频、图
现代处理器中转换旁视缓冲(Translation Look-aside Buffer,TLB)通常由相联存储器实现,对相联存储器的访问会造成较大的功耗开销,并且需要较长的延迟。32位处理器向64位处理器的升
学位
粒子群优化(PSO)算法是继蚁群算法之后提出的一种新型的优化技术,其基本思想来源于对鸟群捕食的行为模拟。该算法的优势在于算法简单,容易实现而且功能强大,具有深刻的智能背