【摘 要】
：
早期互联网的任务是电子化和去人工化。如今的互联网的特性是海量数据。随着互联网对生活各个领域的涉足,越来越多的原本不被保存的数据现在被保存下来以供挖掘和分析。近年来,喜马拉雅开展了数量和种类众多的运营活动,参与人次以千万计,用户的每一个行为都被记录下来存入数据仓库。对这些行为进行挖掘、统计与分析,能够更精准地为用户提供更好的服务,从而带来更多的口碑、流量与收益。大数据的应用是以低响应时间和/或高压缩
论文部分内容阅读
早期互联网的任务是电子化和去人工化。如今的互联网的特性是海量数据。随着互联网对生活各个领域的涉足,越来越多的原本不被保存的数据现在被保存下来以供挖掘和分析。近年来,喜马拉雅开展了数量和种类众多的运营活动,参与人次以千万计,用户的每一个行为都被记录下来存入数据仓库。对这些行为进行挖掘、统计与分析,能够更精准地为用户提供更好的服务,从而带来更多的口碑、流量与收益。大数据的应用是以低响应时间和/或高压缩率为追求目标的,不同的应用场景对应着不同的时间和空间需求,必然采取不同的存储技术。在业务线尚未特别丰富的前期,数据仓库的类型不是特别丰富;随着业务的发展和繁荣,数据仓库的种类和数量开始变多,以往在不同数据仓库之间来回切换的数据分析方法的切换开销增大到难以忍受。针对各式各样的存储技术带来的存储平台、存取手段不统一的问题,本文给出了在同一个平台、同一个界面浏览不同的数据仓库的解决方案。这是本文的主要工作。本文主要研究了各种各样的大数据框架及其读写技术,对使用到的HDFS,HBase,Hive,MySQL,ES,Kafka等相关技术进行了综述。在研究相关技术的基础上,本文实现了一个数据资产管理系统。系统采用分层结构,分为三层,包括展示层,业务层和数据传输层。展示层主要使用了 AntD+React框架;业务层使用了 Spring Boot+Spring Data Jpa框架,数据传输层则按照数据仓库类型的不同来安排不同的传输手段。本文设计和实现的数据资产管理系统目前已经上线运行,状态良好。随着业务的增加和升级,将来会往系统中加入跨平台数据迁移的需求。
其他文献
高纯石英最初是以一、二级天然水晶为原料,再精选提纯加工而成。目前能够作为工业应用的石英矿物资源有7种成因类型,它们是天然水晶、石英砂岩、石英岩、脉石英、粉石英、天然石英砂和花岗岩石英。随着近年来光伏产业、激光、半导体、信息技术等高端产业的飞速发展,高纯石英的市场需求量急剧上升,而我国一、二级水晶资源较稀缺,由脉石英制备高纯石英的工艺日益得到重视。脉石英由于其矿物成分单一,加工提纯效果较好,作为优质
本文是一篇翻译项目的研究报告,着重分析目的论在学术文本翻译中的指导作用。不同于其他类型的文本,学术文本的专业性强,具备较高的学术价值与研究意义。笔者所选的翻译材料来自一篇美国博士学位论文《夏威夷语丧失的影响及其在语言景观中的重振》的前三章。该译材是一篇客观性、科学性较强的学术文本,具有术语与专有名词多、句式复杂、逻辑严密、文风正式的特点。笔者依据目的论三大法则:目的法则、连贯法则和忠实法则,在译文
随着老龄化趋势的不断加剧、个人养老观念的转变以及金融产品的创新发展,充分利用金融工具增加养老财富、提高老年生活水平是适应传统养老模式转变、满足居民老年金融产品创新与开发需求的有效途径。银行以自身的资源优势在整个金融体系中扮演必不可少的角色,在国家大力提倡金融支持养老体系健康发展的背景下,银行纷纷加入养老金融产品的开发行列,目前已有多家银行设计并推出了“养老”概念的理财产品,由于贵州省属于欠发达地区
在我国传统民族舞蹈艺术中,秧歌是重要的一大分支,它产生于中国人民的现实生活之中,具有很强的生动性、形象性特点,蕴含着浓厚的生活气息,同时也集中展现着民族传统舞蹈的艺术魅力和审美风格。山东高密地秧歌和河北昌黎地秧歌都为两省的非物质文化遗产,现如今我国对于非遗文化有着极高的重视,国家鼓励人们开展丰富多彩的民间舞蹈。目前,学术界从多个角度对山东高密地秧歌和河北昌黎地秧歌分别做了研究,包括历史渊源、艺术特
身处大数据时代,网络环境日趋复杂,高度发达的科技让我们随时随地获取大量信息,个人信息易遭到泄露,企业商业秘密越发透明化,容易被外界所接触,更具曝光性,这使得商业秘密的保护面临多重阻碍,只有分析目前存在的问题,完善相关的法律保护制度才能为商业秘密建立全面的保护屏障。本文将从三个典型案例入手,对大数据时代商业秘密存在的风险作出具体分析,例如尚未明确数据信息作为商业秘密时的权利属性;侵权手段高科技化对商
本研究主要研究非全日制硕士研究生压力的特点和应对方式,并提出缓解压力的应对策略。本研究结合前人对于相关心理压力问卷展开调查,结合相关理论,对X大学非全日制硕士研究生心理压力的现状及主要影响因素进行了分析,并针对存在的问题提出了对策。本文共分为五部分内容:第一部分是X大学非全日制硕士研究生压力研究的相关理论基础。通过对压力相关概念界定以及非全日制硕士研究生的政策解读两方面,为本文的研究奠定理论基础。
生命对于每个人而言都是弥足珍贵的,生命的健康发展需要正确生命价值观的指引。而青年大学生作为我国宝贵的人才资源,是实现中华民族伟大复兴“中国梦”的重要力量,能否使青年健康成长关系着社会的发展、民族的复兴和国家的繁荣。因此,大学时期的青年成长是重要的时期,也是生命价值观形成的关键时期,高校加强对大学生生命价值观的正确引导,不仅有利于推动大学生的全面发展,更为大学生树立崇高的理想信念起到积极作用。还能帮
少数民族文化是中华文化的重要组成部分,是中华民族共有的精神财富,是人类文明的重要成果。壮族自古以来就是我国典型的南方农业民族,是中国人口最多的少数民族,也是全国唯一具有沿海、沿江、沿边、沿山的少数民族。在独特的地理环境影响下,壮族人民在长期的历史发展中创造了以稻作文化（“那”文化）为核心的音乐、舞蹈、戏剧、剪纸、纺织、印染等丰富民族文化资源,社会各界越来越关注壮族文化的传承保护。动漫产业是21世纪
2017版《普通高中英语课程标准》要求要提高学生运用学习策略的能力。它是提高学生学习能力的主要途径,是教学的重要内容,也是英语学科核心素养的重要组成部分。对于高中生来说,词汇学习是高中英语语言学习中尤其重要的一项。因此,调查研究并分析高中生所使用的词汇学习策略,能够为教师提供相应的教学建议,提高学生词汇学习能力进而促进核心素养的养成。本研究依据O’Malley和Chamot词汇学习策略的分类方法,
有机螺环类化合物因其具有刚性结构、结构稳定等优点,被广泛应用于医药、不对称催化、发光材料、防火材料、农药、高分子粘合剂等方面。其中螺环化合物中的罗丹明类化合物和结晶紫内酯以其独特的开关环机理在近几年引起了广大学者的关注。本文基于酯环类螺环化合物的开-关环原理,利用罗丹明类化合物良好的光稳定性和高荧光量子产率设计制备了一系列的罗丹明类衍生物,开发了几种新的化学发光试剂,提出了新的化学发光体系,并建立