互联网访问数据用户识别与兴趣度分析

被引量 : 4次 | 上传用户:ssfdlah
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的快速发展和电子商务以及电子产品的普及,网络信息资源的数量急剧增长。一方面,用户在浏览互联网时需要耗费大量的时间才能得到有用的信息。另一方面,信息提供商比如电子商务网站,也希望能够根据用户的偏好,从海量的商品信息中为用户推荐感兴趣或者需要的商品资源。论文以某运营商的用户宽带访问记录为基础数据,通过对用户访问日志记录进行分析,挖掘出用户的兴趣爱好特征,从而实现商品信息的个性化推荐。用户访问一个网页时,互联网服务提供商(ISP)会记录用户的日志信息,称为用户访问日志记录,其中包含用户的访问行为相关信息。论文首先研究了基于K-Modes算法的独立用户识别技术,对日志记录进行会话识别分析,识别出属于同一个会话的日记记录集合,进而通过聚类技术识别出独立用户。在此基础上,提出了基于维基百科的语义消歧算法,并结合该算法研究了结合语义的用户兴趣特征分析技术,通过构建兴趣特征分类库,进一步实现了相似兴趣特征用户分类,为商品信息的精确推荐提供了基础。结合用户访问日志记录的海量数据特点和MapReduce在大数据处理以及算法的可扩展性上的优势,论文最后在Hadoop平台上设计并实现了这些算法。总结起来,论文的主要工作包含以下几个方面。独立用户识别技术研究。将用户识别过程分为数据清洗、会话识别、Cookie提取和用户识别四个步骤。数据清洗是删除冗余和无效数据,在此基础上,提出了结合参引页和时间阈值的会话识别方法;通过对Cookie数据的分析,提取出表示用户登录常用网站的用户名字段,最终确定了能够有效判断独立用户的十个字段,基于K-Modes算法的用户识别技术,通过聚类从日志记录中识别出独立用户,并为其编号。用户兴趣特征分析技术研究。首先,分析了总体的业务流程,根据用户的搜索关键字,通过分词技术,提取出特征关键字;结合维基百科语义词典,提出了中文语义消歧算法,研究了兴趣特征关键字消岐技术,从而得到每个用户的兴趣特征。基于用户在每个词语中相同的语义和分类下的词频统计,为其标识权重;在此基础上,通过构建一个兴趣特征分类库,并根据特征分类库中的每一个分类词与用户的相似度,实现了相似兴趣特征用户的分类。结合所研究的独立用户识别和用户兴趣特征分析技术,论文在Hadoop环境中设计并实现相关算法。首先分析了系统的整体架构,将系统分为用户识别和用户特征分析两个子系统;并进一步将用户识别子系统分为数据清理、会话识别、Cookie提取和用户识别四个子模块,将用户特征分析子系统分为关键字提取、用户兴趣特征提取和相似特征用户挖掘三个子模块。详细分析了各个模块的执行过程,并给出了关键模块的核心代码实现,验证了课题所研究技术的有效性。
其他文献
如今新兴知识及技术迅速应用在生产活动以及经济生活中,网络技术和通讯技术的发展对大学生产生了新的影响。网络直播作为一种新兴的,能迅速传递社会生活和经济等领域信息的媒
网络用户在精准广告中的隐私关注现象已经成为学界和业界的热门议题。本研究从用户的基本认知心理出发建构用户隐私关注影响因素模型,并以问卷调查的方式展开实证研究(N=421)
研究慢投垒球和这项新兴休闲健身运动的特点,分析在普通高校推广发展慢投垒球的可行性和必要性。慢投垒球的特点让大学生容易接受这项新运动;慢投垒球能培养大学生就业优势;高校
吸湿相变材料在建筑围护结构中的应用是近年来世界各国研究中的新热点,其开发应用对节约能源,可再生能源的利用,维持生态环境的可持续发展有极其重要的意义。介绍了氯化钙作
目的:探讨药店药师在岗履职过程中存在的矛盾.方法:具体分析现存的矛盾.结果与结论:解决矛盾应注重宣传教育;严格实行药师考核制度,从严管理"挂名药师";加大监督检查力度,确
随着公路交通量的增加、行车速度的提高及车辆轴重的加大,公路早期破坏现象更加严重,路面结构在车辆移动荷载作用下的动力学行为成为人们关注的重点。由于开展实际的路面结构
探讨鸡马立克病CVI988疫苗不同的接种部位对免疫效果的影响,将96只1日龄海兰褐公雏鸡随机分成对照组(C)、腹腔注射接种组(PI)和颈部皮下接种组(HI),C组腹腔注射0.2mL疫苗稀释
随着目前贸易全球化进程加快,植物保护工作变得越来越重要,植物检疫执法工作在实际生活中对植物保护的基础作用十分突出,可以减少甚至杜绝危害性的病、虫、草在国家和地区之
<正>无照经营成为政府监管的难点问题之一和无照经营本身的复杂性、综合性有重要关系,也和政府对无照经营问题定位的准确性有关之三:定位为社会管理问题有利于无照经营问题的
对温度、日光光照等条件以及不同添加剂对藻蓝蛋白水溶液稳定性的影响进行研究。研究得出,藻蓝蛋白应低于40℃避光保存,应于中性条件下保存;葡萄糖、氯化钠和山梨糖醇可以有效提