基于MongoDB的海量天文星表数据的快速时序重构研究

来源 :天津科技大学 | 被引量 : 0次 | 上传用户:whisperings
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着天文观测设备数据采集能力的提高,天文星表数据呈现爆发性的增长,天文学已经进入了大数据的时代,由于天文数据量非常庞大,导致应用传统科学计算方法生成天文时序数据时效率不高,直接影响了时域天文学的科学产出,如何对其进行高效访存及快速交叉证认,加速时序数据生成成为当前的一个重要研究方向。传统的关系型数据库对海量星表数据的存储和处理相对薄弱,分布式环境下非关系型数据库的应用为此提供了一个新的研究视角。为了解决这一问题,本文提出基于快速映射的减少距离计算的同源星表快速证认方法及基于MongoDB的应用方案,重点从原始数据访存及索引查询、交叉证认算法等方面优化等方面寻求新的突破,以解决大规模天文星表的批量时序重构的效率问题。从原始数据访存和索引查询优化方面,本文提出了基于MongoDB的交叉证认算法,利用了MongoDB中的地理空间索引和分布式存储,通过地理空间索引中的2D索引和HEALpix索引划分方式相同的特点,实现天文数据的快速访问和提取,通过天文数据的分布式存储,减少主节点的存储压力,通过MongoDB的副本集保障了数据安全,方便数据的分布式和并行计算。从交叉证认算法的优化方面,为了解决当前传统的交叉证认算法的计算量巨大,效率低下的问题,本文提出了一种快速证认算法。由于本文研究的是同源星表,具有星体位置无较大变动的特点,所以此算法先通过数量对比和亮度的对比,划定需要证认的区域为特殊区域和非特殊区域,对于非特殊区域的星体通过位置比较进行免距离的匹配输出,对于特殊区域的星体保留距离计算。这种算法大大减少了交叉证认的计算量,有效提升了大规模星表数据交叉证认的计算的效率。实验结果表明此方法与基于传统多波段交叉证认算法和关系型数据库的方法相比,可以更有效地提高时序数据的生成效率,为时域天文学时代频繁采样望远镜的大规模星表数据的时序重构和光变曲线生成提供了新的思路。
其他文献
随着机器学习技术的发展,无监督表征学习已经成为目前最重要的研究方向之一。变分自编码模型(variational autoencoder,VAE)因其显式的生成模型建模方式,已经被视为无监督表征学习领域最具研究价值的模型之一。无监督聚类表征学习是表征学习领域一个重要研究分支。传统深度聚类表征学习方法更多关注通过深层神经网络去提取数据的隐层特征来提升聚类精度,较少对聚类任务中数据类别的确定性问题进行分
学位
<正>2022年末,在江苏省连云港市赣榆区赣马镇农村产权服务交易中心,随着仲马自然村50.5亩土地发包项目的应声落锤,赣马镇当年交易了1668个项目,交易额4450.11万元,分别提前完成年度任务的120%、130%。近年来,赣马镇农村产权交易服务中心,充分发挥交易平台功能,坚持“应进必进”,突出规范化,抓关键、抓落实,
期刊
近年来,城市自然灾害发生的频率越来越高,造成了大量的人员伤亡和财产损失,因此需要大力推进城市灾害防御工程建设,其中完善城市灾害应急管理系统就是很重要的一个方面。但是在目前的应急处理中,不但不同的部门有各自的应急管理系统,各自管理,较为分散,而且系统本身大多数采用中心化管理,以上原因导致应急处理过程存在着消息共享不及时,受故障或者攻击影响较大,事后难以追责等问题。区块链技术凭借其去中心化、防篡改以及
学位
图像超分辨率是计算机视觉领域的一个重要分支,在安防、医疗、军事等领域具有重要的研究意义和应用价值。近年来,随着神经网络等技术的不断发展,图像超分辨率在准确率和生成速度等方面都取得了更好的成就。在图像超分辨率的训练过程中,真实的训练数据一般很难获得,基于此,研究者大都使用人工构造的训练数据进行训练。但是,使用人工构造的数据进行训练得到的图像超分辨率模型存在一个问题,那就是对人工构造的低分辨率图像超分
学位
为了提高基于设计牵头的EPC项目设计管理水平,论文通过分析EPC项目培养过程中所涉及的内容,提出EPC项目设计管理要点,并探讨研究了设计与造价、采购、施工、试运行以及设计变更在EPC项目管理中的应用,解决了设计企业在EPC项目设计管理中存在误区和“黑匣子”等问题,从而推动设计企业自身业务的发展,并不断提升企业自身竞争力。
期刊
目前传统的推荐系统,存在严重的长尾效应。推荐系统往往只会给用户推荐当前比较热门的物品,而具有较高价值性但比较冷门的物品没有得到良好的推荐。因此,为了解决上述问题,本文提出了一种基于物品协同过滤的改进长尾推荐算法。本文的主要工作包括内容如下:(1)目前基于物品的协同过滤推荐算法,其在数据集上存在较为严重的稀疏性,稀疏性影响相似度的计算,越稀疏计算得出的推荐准确率越低,且长尾物品并没有得到较好的挖掘。
学位
强化学习为机器学习领域的重要学习方法,主要研究智能体如何根据当时环境做出较好的决策,是最有希望实现人工智能这个目标的研究领域之一,也是智能系统开发者关注的研究热点。策略梯度算法是强化学习领域中实用性强、易于实现,被认为是处理连续空间中复杂决策任务的主流方法,但此类算法存在梯度估计方差大,策略更新不稳定问题。基于参数探索的策略梯度算法(Policy Gradients with Parameter-
学位
企业经营发展离不开现金流,2018年4月财政部发布的最新的会计准则里,有一定量的指标都是和现金流相关或者密切相关的。显而易见,现金流体现了企业的运营能力和支付能力,因为现金流是资金的流动,包括资金的筹措和周转。资金的筹措通常是和公司的投融资活动相关,而资金的周转通常是和公司的日常经营相关,这样,现金流就将公司的日常经营活动和投融资活动自然地联结起来。它不仅仅是企业运营能力和支付能力的体现,更是因为
学位
深度神经网络是整个深度学习领域的核心,而基于梯度下降法的反向传播算法又是整个神经网络体系的基石。目前深度神经网络的参数学习主要是通过梯度下降法来寻找一组最优参数,虽然深度神经网络具有非常强的能力,但对其优化却十分困难。首先,神经网络的损失函数是一个非凸函数,找到全局最优解比较困难。其次,深度神经网络的参数通常非常多,训练数据也非常大,这就使得计算代价很高的二阶优化算法无法使用,而一阶优化算法的训练
学位
静态兴趣点推荐一直以来都是研究热点以及商业应用重点。现在基于可移动性兴趣点的研究也逐渐成为商业公司的关注点,并成为研究热点和未来需求。例如,能够为行人售货的自动行驶零售车就是一种典型可移动性兴趣点推荐的应用。可移动性兴趣点的推荐与传统的静态兴趣点推荐存在本质上的差异。为了解决可移动性兴趣点推荐问题,本文提出了一种针对具有可移动性兴趣点的推荐的算法。主要包括以下内容:(1)本文提出了一种包括3个网络
学位