基于Hadoop的用户特征数据统一分析平台设计与实现

被引量 : 0次 | 上传用户:zdb_zhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网用户越来越多,用户行为信息量不断增加,其增长速度让人感到不可思议,根据一个互联网企业的统计,用户在网络上购买某一商品前,平均需要打开五个不同网店地址,浏览网页超过三十个,搜索次数大于十次。这些信息具有较大的分析价值,从中可以分析出用户的相关特征,从而可以为用户提供周到的推荐服务,这对公司和用户自身都是有益的。目前,面向用户特征数据分析的应用越来越多,导致数据分散、工作量重复等问题,缺少一个统一的方案来解决此类问题,因此开发一个用户特征数据统一分析平台变得越来越有必要。本文首先简介了Hadoop大数据处理的研究现状,然后阐述了用户特征数据分析的研究现状,为开发该系统提供了必要的参考,同时介绍了用户特征数据分析相关的应用。在需求分析阶段,制定了该平台的各项需求,根据其需求,对平台做了详细的设计,从功能的不同的角度出发,将平台划分为数据采集模块、数据预处理模块、模型建立模块和用户特征查询模块。数据采集模块支持不同方式的采集。预处理模块提供了一个预处理框架,可以根据需求自定义操作顺序和操作内容,使得预处理过程更加方便和灵活,目前平台支持封装、切词、特征提取、权值计算、数据格式化等预处理操作。在模型建立阶段,平台利用支持向量机分类算法、朴素贝叶斯分类算法和Adaboost算法,通过训练生成模型,以供预测需要。特征查询模块对外提供了远程调用的接口,内部实现了LRU缓冲区,提高了平台性能。为了体现平台的可用性,基于平台实现了用户性别识别、用户年龄识别和用户消费能力识别的具体应用。在平台的测试阶段,详细制定了平台的测试方案,对每个模块的功能编写测试用例并测试通过。最后,对三个识别应用进行测试,使其指标均达到要求。论文最后总结了整个平台所解决的问题和未来改进方向。目前,该平台已经投入使用,为不同的应用提供对用户特征数据的分析。
其他文献
石敬瑭为帝颇有善政,以相当数县租赋做岁币取代武力抵御契丹侵扰,利于人民休养生息,在位期间"天下粗安"、国力增强,在五代十国诸帝中,应是较为有作为皇帝,视之为"罪最大恶已
使用活性铜电极作为阳极、以金电极为阴极、以KOH溶液为电解液,制备了原电池型氧气传感器,并对活性铜电极的制备进行了细致的考察。实验表明:以电镀铜锌合金为基础,在质量分
<正>一小引黄遵宪是近代思想启蒙运动的先驱,游历东洋、欧、美,归国后大力宣扬日本明治维新及西方民主制度、科学文化,积极参加戊戌变法,广结同盟,贡献重大。平生功业多方,集
会议
硬膜外腔穿刺术是通过穿刺将麻醉药物注入硬膜外腔,以麻醉不同平面的脊神经根.为在操作中避免失误,了解和掌握其应用解剖学基础和操作要点是必要的.根据《护理应用解剖学》教
本文以刑事审判为中心,对未成年人①刑事案件的社会调查制度进行研究。未成年人刑事审判社会调查制度是少年司法制度的一项重要内容,也是保护青少年健康成长在少年司法领域的一
花卉产业是集社会效益、经济效益和生态效益于一体的朝阳产业,随着经济社会的发展,花卉产业显示出越来越强劲的发展前景,是富裕起来的中国最有生机的生物性产业。当前,我国花卉产
随着新时期政府转变职能、创新社会管理的积极推进,政府向税务师事务所购买服务成为深化税收征管改革的一项重要措施。党的十八届三中全会审议通过了《中共中央关于全面深化改
中国传统艺术中,古琴音乐与山水画的艺术意象是相通的。二者作为传统艺术的两种重要艺术形式,对传统文化的感知与认同有重要意义。随着媒介技术的高速发展,受众的体验方式发生改
绝热剪切是材料在高应变率加载下的重要破坏机制之一,本文通过实验和有限元模拟结合的方法研究了三种形式的绝热剪切破坏现象:Ta2钛金属圆柱试样动态压缩发生绝热剪切破坏、Ta2
随着经济全球化不断的继续地深化发展,中国已经成为世界上最具有发展潜力的经济之一。从中国经济得到前所未有的快速增长之后,中国企业越来越向国际发展,大多优秀的中国企业加入