【摘 要】
:
伴随着大数据时代的不断加深,数据量呈指数趋势不断增长,同时数据维度也相应地持续增加,因此,快速实时数据分析等需求面临着新的挑战。提升数据存储服务的实时性、准确性以及
论文部分内容阅读
伴随着大数据时代的不断加深,数据量呈指数趋势不断增长,同时数据维度也相应地持续增加,因此,快速实时数据分析等需求面临着新的挑战。提升数据存储服务的实时性、准确性以及交互性是数据分析领域重要的需求。然而当前大数据存储技术大多采用基于HDFS的分布式文件系统进行设计,存储层之上的众多应用性能也受到该文件系统与磁盘交互高延迟特性的制约。内存云(RAMCloud)是一种将所有数据存储在集群服务器内存中的新型存储系统,它能够加速数据的访问速度,有效解决了磁盘访问延迟较大的瓶颈。加之近年来内存价格的不断下降,使得内存云不断成熟以至达到普遍商用化成为了可能。使用内存云对数据对象进行存取时需限制对象的大小,因为内存云仅支持存储容量最大为1MB的小块数据对象,一旦数据对象的大小超过1MB,那么该对象将无法被直接存储在内存云集群中。然而,现实生活中需要被存取的对象大多为大于1MB的大块数据对象,为了充分利用内存云的快速访问特性且解决其存储大小受限问题,本文对内存云中大块数据对象的存储与读取方式展开了深入研究,并由此提出了一种基于内存云的大块数据对象并行存取方法。本方法共分为两个模块,分别为大块数据对象的存储和读取模块。其中存储模块充分利用了数据分割的思想,首先将大块对象分割成可以被内存云直接存储的若干个大小为1MB的小块数据对象,该分割过程在客户端进行,同时会生成相应的数据摘要,然后采用并行计算的策略将分割后的所有数据对象同时存储在内存云的集群中。读取模块的过程与存储过程反向对应,首先利用并行策略从内存云中读取所有小块数据对象,读取过程需根据数据摘要进行,然后将读取到的所有数据进行合并得到原始的大块数据对象。通过实验分析表明,在原始的内存云集群体系架构下,本方法的存储速度为16~18微秒,读取速度可达到6~7微秒;在InfiniBand的网络架构下,本方法的并行策略可以使得大块数据对象的存取与小块数据对象的存取具有相同级别的速度,成线性增长的加速比表明了本方法的高效性。同时,随着移动互联网的快速发展,如何从大量的移动应用中抽取有效的描述信息继而为移动用户提供有效准确的推荐策略变得尤为迫切。目前,移动应用市场对应用的推荐策略相对传统,大多是根据应用的单一属性进行推荐,如下载量、应用名称、应用分类等。针对推荐粒度过粗和推荐不准确的问题,本文提出了一种将内存云与LDA主题模型相结合的方法。该方法从应用的标签入手,构造应用的主题模型分布矩阵,利用该主题分布矩阵构建移动应用的相似度矩阵,同时提出了将移动应用相似度矩阵转化为可行的存储结构的方法。大量的实验证明了该方法的有效性,此外相比现有的应用市场推荐的应用其相似度提升130%。使用此方法解决了移动应用推荐过程中推荐粒度过粗的问题,从而使推荐结果更加准确。同时也证明了内存云加速机器学习的训练速度并提供线上应用热切换功能,使内存云与机器学习应用相结合成为了可能。
其他文献
复合材料因其强度大、刚度高、性能可设计等优点而在航空航天结构中广泛应用,但复合材料结构在长期交变载荷作用下,不可避免地会产生分层损伤。分层损伤作为复合材料层合板结构中最容易发生的一种损伤形式,会不断扩展导致结构强度和稳定性的急剧下降,甚至可能造成结构的灾难性破坏。因此在疲劳载荷作用下对复合材料结构进行持续监测并预测其剩余寿命是当前结构健康监测领域的一个热点,有着重要的研究意义和工程应用价值。本文首
深海机械手是海洋探测的必要装备,现有液压驱动工业级深海机械手体积庞大且手部为钳指型结构不够灵活,难以在小型潜航器上应用、难以捕获活动的海洋生物;灵活的小型水下机械手多选用电磁式无刷电机作为作动器,采用充油方法平衡海水压力。但随着水深增加水压增大,密封元件的变形不仅导致电机输出能力的下降而且还伴有海水渗入或油液泄漏的可能。本课题面向微小型潜航器配备水下灵巧机械手的应用需求,利用压电激励和摩擦驱动原理
随着网络技术的快速发展和电子文件数量的急剧增加,文本分类技术愈发重要。文本分类中最棘手的问题就是如何有效降低特征空间的高维度,过高维度的特征空间不仅会增加分类时间
近几年,在技术、市场与国家政策的共同推动下,我国“互联网+教育”的发展进入了快车道,这让教育的内容与形式都更加的多元化,教育资源的分配也愈加的公平合理,与此同时在线教育企业也面临着越来越大的竞争。在线教育企业要想不断的扩大企业影响力,增加经济效益,除了要加强在线教育系统研发技术的提升、课程质量以及服务水平的提高以外,绩效管理的方式,绩效考核的科学性、完善性、灵敏性等,都在一定程度上左右着企业战略目
自动回复是指对于用户提出的问题系统能够自动的为用户提供一个答案,在自动回复任务中,大多数问题和答案之间词汇的重合率和相似度并不高,很难仅使用单词匹配和特征提取的方
飞行模拟器是民用航空与军用航空中飞行员训练不可或缺的关键训练设备。借助头盔显示器开发的基于虚拟现实技术的轻量级模拟器舱内外视景均由计算机生成,通过改变视景可实现不同机型重配置,使用灵活,沉浸感好,因而受到广泛关注。但是由于佩戴了头盔显示器,飞行员在模拟训练过程中无法直接看到自身的手,因此交互性受到严重影响。为实现自然、和谐的人机交互,本文主要开展基于计算机视觉的手部交互技术研究。鉴于表观方法在计算
提高生产效率、降低生产成本是企业在现代化发展中需持续关注的焦点话题。企业若想在市场竞争趋于白热化的环境中脱颖而出,那么对其生产调度进行持续性优化是非常有必要的举
The key to achieve autonomous control of robot,and also an important topic in mobile robotics field is Simultaneous localization and mapping(SLAM).A mobile robo
燃烧室中的燃烧现象复杂,温度很高,多种物理过程强烈耦合,其中传热方面多种传热方式共同作用于燃烧过程。通过实验研究燃烧室内的燃烧情况难度较大,实验数据难以获取且数据有限。目前高精度数值方法发展迅速,对燃烧室的燃烧仿真研究受到广泛关注。然而,目前的燃烧仿真大多仅考虑燃烧现象而忽略了多种传热方式对燃烧过程的影响,通过文献调研发现,燃烧室中的传热现象对燃烧仿真结果的准确性有较大影响。因此本文基于新型的高精
随着互联网的兴起,网络中的数据量呈指数增长,人们的生活节奏加快,如何从海量数据中高效获取所需信息已经成为了现如今亟待解决的问题。自动摘要技术能够对文本信息进行融合