基于用户日志聚类的查询扩展

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:ansunyou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet的发展,网络信息量不断增长,通过搜索引擎获取所需信息已经成为用户使用网络的一个重要方面。研究表明,用户使用查询词的平均长度为1.8个,长度不超过3的查询词占总查询的93.15%,这比Craig Silberstein等人分析的英文查询词的平均长度2.35个更短,说明在中文搜索引擎得到的用户需求信息更少,需要对用户查询进行特定处理,才能准确返回检索结果。查询扩展即利用计算语言学,信息处理等技术在原有查询的基础上加入与用户输入的检索词相关联的新词,组成新的更长、更准确的查询,修改后的查询字段会发布给搜索引擎,这样可以在一定程度上弥补用户查询信息不足的缺陷。它可以有效充分地挖掘用户查询意图,从而提高信息检索查全率和查准率。本文首先提出了基于词语物理距离的简单查询扩展方法,该方法简单易用,速度快可移植性高,有效利用文档中词语与原查询词的距离构造权值向量,但存在使用伪相关文档和中文分词中短语未识别的问题。针对以上问题,本文提出基于用户日志聚类的查询扩展方法,该算法通过对Sogou用户日志的预处理和聚类得到输入检索词对应的查询扩展词。它首先对用户点击相关网页进行可信度去噪,然后对网页进行预处理,得到标题、正文、网页关键词等,利用向量空间模型(VSM)建立权值矩阵,并通过LSI算法进行特征降维,再用K均值算法进行文本聚类,得到的文本聚类中心作为类别标注词语。另外,查询词是从用户角度进行信息描述,因此本文认为指向同一URL的两个查询词是高度相关,并将原查询的反向检索词作为扩展候选词;最后,结合类别中心、用户查询短语、文档标题、反向检索词进行查询扩展融合,得到该查询词的查询扩展词组。本文还创新性提出了百科术语识别的方法,该算法采用人工编辑的词典实时提取具有一定意义的术语,极大地提高了分词的准确性。
其他文献
随着电子技术的飞速发展,汽车电子娱乐产品不断吸收新技术和最新研究成果,使车载电子产品逐步升级。以SD卡、U盘等作为歌曲文件存储设备的普通车载MP3播放器已经不能满足消费者
随着移动通信的发展3G已经逐渐走入我们的生活,其中中国移动支持的TD-SCDMA是我国自主研发的3G标准。3G除了要支持传统的语音业务外,还要支持各种速率的数据传输和图像传输等
近些年来,国内建筑行业的规模如同雨后春笋茁壮成长,质量问题也越来越受民众关心,我们必须要意识到现代化工程建设中混凝土施工所占据的重要地位.在整个混凝土施工的行业中,
无线传感器网络的测试工具对于传感器网络的深入研究和应用具有重要意义。本文提出了一种基于硬件平台的无线传感器网络测试方法,并介绍了基于该方法的无线传感器网络测试平
现代通信技术不断发展,4G无线通信技术已经商用;但频率资源紧缺这一制约通信技术发展的瓶颈问题仍然存在,且随着高速无线通信的发展变得更加突出,若能解决这一问题,便是占领了现
当今的数据通信中,对服务速率和业务的需求越来越多,而日益缺乏的频谱和受限的功率,使资源与需求的矛盾越来越突出,超宽带无线通信技术(Ultra-wide band wireless communicat
市政工程的项目是城市基础建设设施的关键环节,在一定程度上能够方便人们的日常生活,并且能够促进现代化城市的发展脚步.只有确保了市政工程的建设效率和施工质量才能更好地
砖混凝土结构住宅属于常见住宅类型,其因建设施工较为简单,在我国存在有较大的建设量.结合实际可知,该类住宅在后期使用过程中,很容易出现砌体温度裂缝,将对住宅的整体稳定性
本文在结合市政工程施工特点的基础上,对市政工程安全问题的影响因素进行了分析,同时提出了市政工程安全管理的有效措施,以期进一步提高市政工程的安全管理水平,减少安全事故
光纤布拉格光栅传感器是利用光纤材料的光敏性,在纤芯内形成空间相位光栅,从而改变和控制光在其中的传播行为。光纤布拉格光栅(Fiber Bragg Grating,FBG)传感器是一种无源滤