【摘 要】
：
以提升航天大数据软件的数据处理性能为目的,以原有的MapReduce框架为基础,提出一种新的面向国产平台的基于Spark内存计算和数据预处理技术相结合的技术。将原软件框架的数据解析算法前移,采用Kafka消息队列对不规格数据进行分布式预处理。针对MapReduce框架消耗内存过大的问题,利用RDD调用机制与Spark内存计算的优势,采用一种基于Spark的快速处理框架,并在国产平台上进行了移植适配
论文部分内容阅读
以提升航天大数据软件的数据处理性能为目的,以原有的MapReduce框架为基础,提出一种新的面向国产平台的基于Spark内存计算和数据预处理技术相结合的技术。将原软件框架的数据解析算法前移,采用Kafka消息队列对不规格数据进行分布式预处理。针对MapReduce框架消耗内存过大的问题,利用RDD调用机制与Spark内存计算的优势,采用一种基于Spark的快速处理框架,并在国产平台上进行了移植适配。经工程验证,新的基于Spark框架的数据处理性能较之前的MapReduce的数据处理性能有了显著提升,稳定实现了在面向全国产平台的大数据批处理技术的性能优化。
其他文献
＜正＞在甘肃乃至全国,黑皮黑肉的"黑美人"马铃薯大家已经非常熟悉,其研发培育者兰州陇神航天育种研究所享有"彩薯黑美人"商标权。日前,从该研究所又传出喜讯:经过1年多时间培育,红皮红肉的"红土豆"获得成功,其生长性状良好。有意思的是,"红土豆"被命名为"赤情郎",并已正式申请了商标保护。在甘肃这个马铃薯大省,"赤情郎"的诞生,意味着继"黑美人"之后,甘肃马铃薯家族再添新丁。
＜正＞In flowering plants,fertilization requires complex cell-to-cell communication events between the pollen tube and the female reproductive tissues,which are controlled by extracellular signaling mole
In angiosperms,the precise delivery of male to female gametes during double fertilization depends on complex cell-to-cell communications between male（pollen tube,PT） and female gametophytes.We provide
面对社会舆论多元化的挑战,长沙广电积极探索主题宣传的创新路径,推出融媒体专栏,紧扣新闻宣传的重大主题主线,围绕党委和政府中心工作,关注民生热点,回应社会关切,精准开展舆论引导,用优质内容为时代赋能,为民族聚心,为发展聚力。
基于开关芯片实现的开关电路是射频前端的基本单元之一，其功能是实现射频信号的导通和关断，在小功率射频信号传输中应用广泛。本文以6～15GHz超宽带、60dB隔离度为设计目标，采用HTCC基板工艺和级联腔体隔离技术，以级联开关芯片为基本电路结构，设计了高隔离度开关电路。该电路包含一只限幅器和两只吸收式砷化镓单刀单掷开关，装配于两个相邻的隔离腔体结构中，通过类同轴垂直传输过渡到基板内对称带状线传输结构，
西北地区某污水处理厂二期工程于2021年启动运营，二期工程设计规模为1万m3/d。出水执行《陕西省黄河流域污水综合排放标准》A标准，总体排放标准严于一级A标准。本工程选择AAO工艺作为二级生物处理工艺，同时在采用生物脱氮除磷的AAO工艺的基础上增加高效沉淀+竖片纤维滤布滤池工艺。通过描述工艺及设备安装参数，分析了此类污水处理厂实施的重点和难点问题，为同类项目的实施提供了重要参考。
＜正＞导读作为我国科学技术研究以及经济活动的重要资源和技术,大数据正在成为科学发现和社会经济发展的新引擎。尽管我国大数据已经具备了良好的技术基础和独特优势,但仍然面临某些"卡脖子"的技术问题。因此需要在关键领域实现国产化,实现安全自主可控,同时实现国内资源和自主创新的融合。