基于数据挖掘的Web日志分析研究

来源 :武汉大学 | 被引量 : 3次 | 上传用户:liupengo0308
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的高速发展,互联网已经深入的社会生活的各个方面,现代生活已经离不开网络的存在,它已经成为人们获取、传播信息的重要手段。用户对网络的依赖也越来越高,在网站遗留的记录也越来越多,因此在网络服务器端存储了海量的用户数据。面对如此宝贵的资源,如何发现用户的意图与偏好,分析蕴藏在其中的信息和知识,挖掘用户行为并加以有效利用,是当前互联网企业的面临的最主要的需求之一,而Web日志挖掘旨在利用数据挖掘技术对Web日志深入而详细的分析,挖掘出隐藏在其之后的用户访问意图与规律,从而解决上述问题。本文通过对Web日志的分析,利用数据挖掘技术,以YF网用户查询日志为基础,使用统计分析、文本挖掘、关联分析、回归和聚类等数据挖掘技术,获得蕴含在用户日志中的有价值的知识,为有效提高网站的性能,改善网站的结构,完善用户体验等给出了相应的建议。首先,本文在引言部分阐述了课题的相关研究背景以及研究现状,同时对本文的研究内容,创新点以及组织结构进行详细论述。随后,是作者对相关理论的综述,包括Web挖掘、Web日志挖掘、房地产网站的日志挖掘,详细阐述了日志挖掘的起源,分类,过程和应用;同时,对文中涉及的研究方法进行了详细的阐述,包括统计分析,路径分析,关联分析,序列分析,相关分析和偏相关分析,回归分析以及聚类分析。其次,本文研究的主要内容包括以下四个部分:一、对用户检索内容的研究。首先对Web日志中的[Query]字段进行拆分与整理,共计得到18个字段,随后利用统计分析方法,对Web日志中用户查询热点时间段、访问量,用户对居住区域的选择(包括:区域、片区、关键字、标签、小区编号),对房屋的选择(包括:房型、客厅、最小/最大价格,最小/最大均价,最大/最小面积),以及用户的浏览行为(包括:时段,访问日,有效期,房源)进行了分析并得到相应的热点访问数据,从而分析出用户的热点需求,为网站改善用户体验提供相关依据,而且从长远看也有助于房地产企业细分市场;通过对用户的首次搜索行为至第12次搜索行为进行了分析,发现在用户的持续搜索行为过程中,随着搜索次数的增加,搜索的精确度在增加,对搜索目标也进一步的明确;通过用户访问热点趋势数据与现实生活中的房屋成交数据进行对比分析,发现两者之间存在的差异,为网站的设计与开发提供可靠有效的依据。二、对用户搜索的各变量之间相关性研究与网页序列关联规则的研究。利用YF网日志中的[Query]字段用户搜索时所使用的11个变量进行两两(共计55组)相关性检验,在汇总结果后对其中存在高度相关关系的变量进行具体分析,发现高度相关关系存在于变量:房型、面积两者之间,显著相关关系存在于:价格、面积、房型、客厅这四个变量之间,随后利用数据挖掘中的简单关联规则(Apriori算法),对各个变量之间的关联关系进行计算,给出了可视化的结果和相应的关联规则(共计5条);然后通过序列关联规则的方法(Sequence算法),进一步对用户浏览网页的顺序进行了分析,得出相应的用户浏览规则,并对浏览序列规则进行了详细分析,发现用户的浏览行为偏好。三、房屋成交量影响因素的研究。重点分析了现实中房屋的成交量与网站用户访问量之间的关系,先是通过相关分析方法,对影响二手房成交量的各个因素(包括:二手房访问量、金融机构公积金贷款利率、消费者价格指数(CPI)、新房成交量、新房价格、商品房住房新增面积、二手房挂牌均价)之间的相关性进行验证,去除了不相关因素(包括金融机构公积金贷款利率、商品房住房新增面积),随后,利用多元线性回归模型对影响房屋成交量的相关因素给出了相应的回归系数,揭示了各个因素对成交量的影响程度。访问量与成交量之间存在相关性这一结论在一定程度上也验证了网络搜索行为会对社会经济行为产生实际影响。四、对访问用户类型的聚类研究。利用Kohonen神经网络建模,以用户访问的页面停留时间[M]、点击次数[0]、访问深度[G]这三个维度,对用户类型进行科学研究。为了更好的进行聚类,需要对数据审核,以异常指标(Anomaly Index)为判断标准探索数据中的离群点,在剔除离群点后,按照[M]、[0]、[G]这三个维度进行聚类,结果得到五种不同类型的用户集,以购房或租房意愿为标准分别命名为:观望者、普通的潜在消费者、有价值的潜在消费者、重点关注的消费者以及有价值的消费者;然后结合不同网页自身的特点对每个用户类别进行了特征分析。最后,是结论与展望,总结本文取得的成效,同时也给出了研究过程中的不足之处并提出进一步的改进方案。
其他文献
目的:益气活血汤加减联合针灸治疗脊髓损伤性截瘫的疗效探析。方法:选取收治在我院的 66 例脊髓损伤性截瘫的患者,根据随机数表法分组,对照组(n=33) 用常规药物治疗,观察组 (
目的:研究乌头类双酯型生物碱水解转化为醇胺型生物碱的转化率,水解乌头类双酯型生物碱对照品,利用水解转化率计算出水解原液中醇胺型生物碱的量,以此量作为醇胺型生物碱对照
冶金企业是我国当前冶金企业生产中一项较为重要的行业,电气自动化仪表与自动化控制在生产工作中的应用有效的提高了冶 金行业的生产效率,提升了该类工作的生产质量,推动了现
从营销4P来检索,白酒行业全国和区域都基本形成了明确的黄金价位.用价格创造商业机会已经非常难了,现在重要的是选择在什么价格区间开战;由于市场过于广阔,白酒企业的传播被迅速同
在迅猛发展的“互联网+”时代环境下,国内的教育界发生了颠覆性的变化。这一变化体现在教育界的方方面面,如教育环境、教育模式、教育水平等等。就职业学院而言,教师为了迎接
“没有陈列就没有销售!”——陈列对终端销售的拉动作用越来越明显,甚至有杂志把“陈列师”评选为未来十大热门职业之一。但是卖场内寸土寸金,大堆头促销效果固然好,可是费用也
有机电致发光显示器(OELEs)是近年来发展十分迅速的新型平板显示技术,其主动发光、低电压驱动、超薄、可实现软件屏显示等技术特点吸引了广泛的注意,随着技术的不断完善,OELDs的产业化工作已
2006年,张裕通过TXB公司向欧洲出口葡萄酒达25万瓶;张裕的利润增长达到了41.98%。这两组数据足以说明张裕国际化战略的初步成功。
今天,妈妈要教我蒸花馍,我特别开心。因为我从小就爱玩橡皮泥,现在有这么多白白的“大橡皮泥”可以让我尽兴,玩完了还能吃,我能不开心吗?
新冠肺炎疫情这样的"黑天鹅"事件对生产生活的方方面面都产生了巨大影响。对一些可能导致人群聚集的行业,如餐饮、旅游、影院等,持续的疫情使之面临巨大挑战。同时,也有一些