基于Spark的单细胞RNA测序数据处理系统

来源 :厦门大学 | 被引量 : 0次 | 上传用户:ztldkd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单细胞RNA测序(scRNA-seq)“精准”到单个细胞层面的转录组分析给精准医学带来了希望。我们把从原始下机FASTQ数据到基因表达矩阵的处理过程称为scRNA-seq数据处理,该过程包含了序列质量控制、基因组比对和转录本计数等多个步骤。由于测序通量的不断加大以及测序成本的大幅降低,scRNA-seq数据量呈指数型增长。原有的scRNA-seq数据处理工具只能在单台机器上运行,且并行程度不高、不同步骤间的大量中间数据要进行磁盘读写,这些原因导致运行速度极为缓慢。这显然无法满足在临床实践中快速、准确完成scRNA-seq数据处理的需要。本文在深入分析目前流行的scRNA-seq数据处理工具的基础上,采用Spark和Hadoop框架开发了一套支持内存计算、可拓展的高性能scRNA-seq数据处理系统——ScSpark。ScSpark可以在集群中分配scRNA-seq数据处理任务,并大量减少中间结果的磁盘访问。我们结合Spark RDD编程模型和我们自己实现的函数来实现序列质量控制和转录计数。此外,我们调用STAR程序作为比对器。为了避免在读取FASTQ文件和写入SAM文件时不必要的磁盘访问,我们使用Java本地接口将FASTQ RDD的数据传递给STAR,然后抽象返回值给SAM RDD。本文从多节点实验和单节点实验两个方面论证了 ScSpark相较现有scRNA-seq 数据处理工具在性能和可拓展性上的巨大提升,并做了初步生物学验证。Sc-Spark相较传统工具有很高的CPU和内存利用率,这是ScSpark性能提升的重要原因。随着计算机硬件价格的不断降低和scRNA-seq通量的不断增大,以CPU和内存资源换时间的策略变得十分有意义。ScSpark能够满足未来精准医学时代对快速完成高通量scRNA-seq数据处理的需要。
其他文献
CsPbX3材料因其良好的环境稳定性、耐用性和优异的光电性能而被认为是一种前景良好的发光材料。同时具有大体积有机阳离子的(PEA)2(CsPbBr3)n-1PbBr4钙钛矿因其具有良好的环境稳定性、可调谐的发光波长、强的激子结合和良好的发光效率在光电器件中受到广泛关注。然而,这些材料中一些固有的激子机制仍有待阐明。为了制备出高亮度和高耐久的CsPbBr3薄膜,本文在正常湿度的空气中采用一步溶液法和
学位
当今世界正处于百年未有之大变局,新冠肺炎疫情的发生加剧了大变局之“变”。国际格局和国际体系正在发生深刻调整,全球治理体系正在发生深刻变革,世界范围内呈现出前所未有的革命性变化。基于全球化发展与全球性问题的权威判断,习近平总书记提出了构建人类命运共同体的理论命题和伟大设想。在历史唯物主义视野下,以人类整体发展问题为考量对象,以共享共建和合作共赢维护人类共同利益为目标,以重构更全面更高层次的“共同性”
学位
当今世界正面临百年未有之大变局,在疫情推动下变局加速发展,全球经济将在后疫情时代持续面临挑战,良好营商环境有利于防止资本外流,吸引资本流入,从而刺激经济、稳定就业,是推动经济高质量发展的必要条件。在大数据时代下,我国电子商务发展势头迅猛,引领世界潮流,在日益活跃的经济市场中,企业数量急剧增多,经营业务多元化发展,涉税数据呈井喷式增长,产业布局逐步呈现多地市化发展趋势,销售链、生产供应链、财务数据更
学位
随着打击恐怖主义和极端主义的持续升温,“去极端化”工作也接受着严峻的考验,特别是在新疆这个特殊的历史环境和地理环境中,宗教极端主义更加凸显,已成为全社会的共同敌人,然而怎样去有效阻断和避免极端主义的产生和传播,是值得我们思考的问题。对于监狱来讲,“去宗教极端化”不仅是教育改造罪犯的一个紧迫而棘手的新课题,更是在教育改造领域实现重大突破的一次重要尝试。如何争取积极主动,因势利导,如何让那些受极端宗教
学位
改革开放以来,我国农村面貌发生了翻天覆地的变化,城乡格局深刻变革。然而,金融领域的城乡二元结构问题依然较为突出。金融天然的逐利性和农业的高风险性决定了贫困户不会被金融机构作为首选信贷目标,他们往往被排斥在金融服务体系之外,面临严重的融资困境。政府背书下的扶贫小额信贷是为建档立卡贫困户量身定制的扶贫贷款产品,旨在解决贫困人口的生产性资金需求问题,力图帮助贫困户发展生产从而实现脱贫增收。那么,扶贫小额
学位
党的十九大明确将审计监督纳入“党和国家监督体系”提出“改革审计管理体制”的决策部署。2018年3月,党的十九届三中全会审议通过了《深化党和国家机构改革方案》,中国共产党中央委员会设立审计委员会,完善了权力监督运行机制。督察内审是对税务内部对税收执法行为和行政管理行为的监督,是一种内部监督行为。2008年国务院批准在国家税务总局内设立督察内审司,督察内审作为一个内部监督部门在全国各级税务系统中发挥着
学位
近年来,互联网和清洁能源都在飞速发展,衍生出了混动汽车、便携式电子设备、物联网等。这些设备的发展和推广都离不开高效实用的储能设备来提供能源。由此,超级电容器(SC)引起了广泛的关注,有望替代电池成为主流的储能设备。聚苯胺(PANI)材料具有很高的理论比电容值和多种氧化还原态,在超级电容器电极材料领域具有巨大发展潜力。但在实际使用中,PANI的比电容值远低于理论比电容值,且循环稳定性较差,极大地限制
学位
由于钠资源丰富且成本低廉,钠离子电池已成为大规模储能领域中潜在应用的二次电池。然而,许多已经市场化的锂离子电池电极材料因钠离子的半径大于锂离子,不能直接迁移应用到钠离子电池中。因此,探索具有优异性能的钠离子电池电极材料对于推进钠离子电池的市场化应用具有重要意义。近年来,普鲁士蓝类似物(PBA)因具有许多优异性能而得到科研工作者们的广泛关注。然而人们发现,实验上制备的普鲁士蓝类似物会引入大量的空位和
学位
微孔有机聚合物因具有丰富的多孔结构,高的比表面积,优异的化学稳定性和热稳定性,在气体存储、分离与纯化、催化、传感和储能等领域展现出广阔的应用前景。近年来,微孔有机聚合物材料的制备取得飞速发展。然而,如何实现其低成本、规模化制备并赋予其优良的性能仍是广大科研工作者的研究重点。沥青和单质硫均为石化行业大宗副产物,年产量达到数千万吨,价格低廉。它们均被世卫组织列为危废品,严重威胁着人类和环境安全。然而,
学位
镁的标准电极电位为-2.37V,具有很高的电化学活性,因此常用作镁空气电池的阳极材料。镁空气电池的理论电池电压为3.09 V,放电容量为2.2Ah/g,能量密度高达6.8 Wh/g。然而,由于镁及镁合金存在严重的自腐蚀和“负差数效应”,以及放电产物的附着,镁基阳极在实际应用过程中库仑效率和放电容量较低。为提高镁阳极的放电性能,本研究从镁的腐蚀行为及“负差数效应”出发,通过改变镁合金微观结构和加入合
学位