云计算技术在web日志挖掘中的应用研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:wuxingyu0406
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如何解决数据挖掘中海量数据处理的问题一直是数据挖掘领域一个非常重要的研究课题。尤其是随着网络技术的迅猛发展,web上的数据正以指数级形式飞速增长,且web上的数据具有海量、多样、异构、动态变化等特点,这使得基于单一节点的集中式数据挖掘平台已经不能满足目前海量数据网络的分析任务了。如何实现快速地从web这个最大的数据集合中提取出有用的信息已成为数据挖掘领域一个备受国内外学者关注的课题。云计算正是产生于这样的背景之下,它的出现给海量数据的处理和存储带来了曙光。同时,云计算只需要部署在普通的廉价计算机集群上即可运行,但是数据处理能力却很强,因此Web数据挖掘系统在云计算集群框架下的成功实行具有很重要的意义和应用价值。本文在Hadoop平台上,结合web日志挖掘的特点,给出了一种基于云计算的web日志挖掘系统的设计方案,并对该系统的各个功能模块进行了详细的阐述。同时,针对目前从web日志中挖掘用户偏爱路径的算法注重客观访问频度,而忽略用户对这一频繁访问路径是否感兴趣的不足,结合网站拓扑结构图修正基于频度的用户偏爱路径的衡量标准,提出了有用偏爱度的概念,给出了一个挖掘用户浏览偏爱路径的方法,从而剔除了由于页面放置和链接等因素对挖掘的影响。最后对本文给出的改进算法的有效性以及云计算平台的高效性进行了实验比较分析。实验结果表明,改进后的挖掘用户偏爱浏览路径的算法更能反映用户的浏览意图。同时,利用云计算平台,通过“云”中多个资源完成原先由一个节点承担的工作,无论是在数据处理还是任务执行上,其效率都高于基于单机集中式环境的web日志挖掘。
其他文献
高校品牌经营是高校对其所拥有的人力、物力、财力、资本等品牌资源和品牌资产进行有效运作,使高校品牌不断增值,从而使经济效益和社会效益不断增强的过程。高校品牌经营可以
托尼·莫里森是第一位摘得诺贝尔文学奖桂冠的非洲裔美国人。其代表作《宠儿》获得1988年普利策文学奖,被誉为美国黑人文学上的一座纪念碑。小说中,不仅女性和自然有着紧密的
为研究不同仔猪断奶日龄对母猪下一胎次生产性能的影响,根据断奶日龄将某种猪场5 271头2~5胎长大二元杂种断奶母猪分为6组,跟踪对应母猪下一胎次配种、产仔情况,分析其生产性
复合土工膜具有良好的防渗效果,适应变形能力强,施工简便,拆除容易等特点。长期使用,虽然存在易老化的问题,但围堰作为水电工程的临时性建筑物,可基本不受其影响,故此,复合土
实施“走出去”的国家战略,是中国政府积极参与国际经济合作,推进对外开放政策的重大决策,这一决策有利于中国的经济发展,同时,也有利于促进全球区域经济合作,实现多国互利共
女性导尿术常见故障原因及排除方法甘肃省庆阳县长庆油田职工医院(745101)唐玉麟史蓉霞现将我科10年来导尿术的故障原因作一分析,以其找出排除的方法。现报告如下。1资料和方法1986年10月至1996年
中职院校作为技能型人才培养的摇篮,担负着为社会培养应用型人才的重任。随着我国信息技术的不断发展,许多先进的技术开始向教育事业渗透,并发挥着重要的作用,微课也不例外。
随着我国机关事业单位分类改革的大力推进,大量事业单位面临转企改制。在此大背景下,事业单位传统的管理模式已不再适应当下经济社会的快速发展,严重阻碍了事业单位社会效益和经济效益的发挥。合理的薪酬设计是单位面临激烈的市场竞争及实现单位、员工共同发展的关键。企业的竞争力关键在人才,合理体现员工贡献、价值的绩效工资制度对吸引人才、建立公平高效和富有激励作用的企业文化至关重要。A水利设计院作为省属自收自支类事
1953年11月17日,内蒙古畜牧兽医学院在新校址隆重庆祝建校1周年。自治区人民政府主席乌兰夫等党政领导前来参加校庆活动。乌兰夫同志看着当时还是空旷荒野,夜晚还有野狼出没的
<正>跑步膝本就是闻(捕)风丧(捉)胆(影),其实这世上从来没有"跑步膝"这个病。初夏是户外运动最好的时候,多风的春季过去了,炎热的酷暑还没到来,正是路跑正酣、夜跑渐起的好时