【摘 要】
:
移动互联网技术的快速发展以及智能终端的普及,加快了大数据时代的到来,也给很多行业带来了机遇与挑战。每日有亿万级的用户使用着电信运营商提供的移动电话和互联网通信服务,实时产生着各类应用使用数据与位置行为数据,在这两类数据中蕴含了很大的价值,可以利用这些数据来构建用户画像,帮助企业更全面的了解用户。而目前面临的问题是用户产生的原始数据数据量庞大,无法将全部数据先存储到磁盘后再计算用户画像信息,同时这两
论文部分内容阅读
移动互联网技术的快速发展以及智能终端的普及,加快了大数据时代的到来,也给很多行业带来了机遇与挑战。每日有亿万级的用户使用着电信运营商提供的移动电话和互联网通信服务,实时产生着各类应用使用数据与位置行为数据,在这两类数据中蕴含了很大的价值,可以利用这些数据来构建用户画像,帮助企业更全面的了解用户。而目前面临的问题是用户产生的原始数据数据量庞大,无法将全部数据先存储到磁盘后再计算用户画像信息,同时这两类数据还需要根据不同的数据特点挖掘出与用户喜好相关的画像标签。因此,需要针对这两类原始数据采用不同的实时数据采集与提取方法,仅在磁盘中存储处理后的结果数据,再针对多种结果数据的特点设计出合适的画像标签与离线数据处理方法,计算用户的画像信息,最终提供对外的数据服务。本文研究重点是使用现阶段主流,成熟的大数据技术来构建完整的大数据处理平台,处理多个数据源的异构数据,通过对数据进行清洗,转换,提取,存储,计算的处理后,将原始用户数据转换为可供外部查询的用户画像数据。本文首先对用户产生的移动端应用使用数据与位置数据源的结构进行了分析,设计出了两种不同的实时数据接入,数据预处理与数据提取方案,利用Flink数据处理框架进行了数据处理与数据持久化的实现。接下来根据这两类持久化的结果数据各自的特性设计出了与用户相关的应用画像标签与位置画像标签,再将两部分行为画像标签与用户的静态属性画像标签结合,共同构成全部用户画像。用户画像计算均基于Spark数据处理框架对当日采集的数据与历史采集的数据共同计算得出。根据用户画像数据特性设计出合理的数据存储结构,使用非关系型数据库HBase存储。接着设计对外的画像数据查询服务,实时查询HBase数据库中的画像结果数据,使用Spring Boot框架进行了实现并加入了权限认证功能。最后进行测试工作,分别从功能性测试与非功能性测试两方面进行,给出了测试用例以及测试结果。保证了系统的可行性与稳定性。本系统为运营商处理并分析用户行为数据提供了完整的解决方案,同时也为后续数据分析提供了数据支撑。
其他文献
无线体域网(Wireless Body Area Network,WBAN)作为一个全新的研究范畴,与人们的日常生活休戚相干。首先从研究学科关联的角度来讲,它与无线传感器网络通信、无线通信技术、生命自然科学以及医疗健康等众多研究技术都有着紧密的联系与交叉性,因此,也被广泛地应用于医用保健、军事作战、运动竞技以及娱乐休闲等领域。由于该网络的位置特殊性(附着于人体),因此在医疗监控及疾病防控等与人体健
为了解决电商平台在售产品的质量安全评估方法不足的现状,本文从线上购物的特性和各品类产品的属性出发,基于多指标综合评价的基本原理和方法,建立综合主成分分析法、系统聚类分析法和层次分析法的电商平台在售产品质量安全指数评价模型。该评价模型的构建对监管部门、电商平台、生产企业和消费者均能起到积极作用。由于电商平台在售产品的种类繁多,影响各类产品质量安全的因素也各不相同,难以实现以一套评价指标对所有产品进行
微纳卫星是一类重量低于100kg的人造卫星的统称。其中,微卫星的重量一般小于100kg,而纳卫星的重量一般小于10kg。当前最为热门的“立方星”概念同属于微纳卫星的概念范畴。在当前电子工业飞速发展,商业化航天发射及卫星制造行业趋于成熟的现实条件下,高校及研究机构自研微纳卫星成为了可能。但面向学生和初级研究人员的微纳卫星开发却仍然处在各自为战、每个任务和研究都从零开始研发的现状。对于那些试图探索微纳
InAlN三元合金材料是制备高电子迁移率晶体管(HEMT)的理想材料,其a轴晶格常数在In N a轴晶格常数(0.3533 nm)和Al N a轴晶格常数(0.3112 nm)之间连续可调,根据Vegard定律可知In组分为17%时InAlN能够实现与GaN a轴晶格常数(0.3189 nm)匹配,可用于制备晶格匹配的InAlN HEMT器件,这为提高电子器件尤其是高频毫米波器件性能和可靠性提供了
质谱仪是一种分析仪器,广泛应用于航空航天、生物医疗、突发事件、食品安全等领域。随着我国深空探测计划的深入发展,小型质谱仪在航天活动中起着越发重要的作用,既可以用于星球表面气体成分的探测,也可对空间站内的环境进行监测。但目前空间质谱仪还存在尺寸大、功耗高、重量大的一系列问题,限制了其在航天工程的进一步应用。随着微机电系统(MEMS)加工工艺的飞速发展,包括刻蚀、镀膜、封装键合等,使得小型质谱仪向着体
随着我国经济的飞速发展,我国企业规模和数量也在持续提高,企业正逐步向现代化发展模式阔步前进。而国企作为我国社会众多企业中的重要组成部分,对于我国经济发展和社会运转都有着重要的影响效果。因此,当前国企需要积极进行现代化改革,以此来适应高速飞转的现代社会。其中,思政工作是国企现代管理体制的重要改革内容,思政工作的好坏直接影响到企业的实际经济效益,对于党的形象和党的政策工作落实都有着极为重要的影响力,基
近些年,钙钛矿材料逐渐展现了作为新一代光电材料的潜力,它具有较大的体晶畴尺寸、较小的陷阱密度、出色的迁移率和在室温下自由移动的载流子,这些特性支持了它们在电荷分离器件中的优异性能。相比于三维钙钛矿,准二维钙钛矿材料更是拥有得天独厚的结构优势,在外层的有机层可以隔绝大多数的水、氧侵袭,起到保护钙钛矿的作用。此外其绝缘性也导致通过器件的电流相对减小,降低器件热损耗,起到提升器件稳定性的作用。因此本文主
文章运用增强的计划行为理论(增加了群体规范变量),探究该理论对中国大学生参与中高强度体育运动的意向和表现的预测效果。研究者对615名中国大学生进行了问卷调查,分析结果表明,所引入的群体规范变量增强了原模型对运动意向的预测能力,且对于女性群体意向预测效果的提升尤为显著。文章认为,为提升大学生的体育活动参与度,相关工作者应主要针对其态度、知觉行为控制和群体规范实施干预措施。
随着我国工业化和城镇化步伐的加快特别是重化工业和交通运输业的快速发展,工厂废气和汽车尾气肆意的排放,导致了严重的空气污染,使得我们的身体健康受到威胁。所以需要及时检测出这些有毒有害气体以减少这些气体对人体健康的伤害及对环境的污染。气体传感器在多种气体检测技术中脱颖而出,其中金属氧化物半导体气体传感器以其易于制作和成本低廉等优点成为科学家研究的热点。二氧化锡(SnO2)是n型半导体,直接禁带宽度为3
有机光电探测器(Organic Photodetectors,OPDs)因其具有波长可调、制造成本低、轻量化、与柔性器件兼容、易于加工等突出优点受到广泛关注,已成为光电探测器家族中的新成员。在应用领域,新型OPDs在便携式和可穿戴设备等领域展现出巨大的应用前景,可以与传统无机光电探测器形成优势互补。随着研究的不断深入,OPDs的部分性能指标已接近甚至超过传统的无机光电探测器,但处于微秒量级的响应速