个性化的Web信息采集技术研究

被引量 : 24次 | 上传用户:hwguomin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Web信息的爆炸性增长,如何快速、准确地从浩瀚的信息资源中寻找到所需信息已经成为困扰人们的一大难题。传统搜索引擎技术满足了人们一定的需要,但由于其通用的性质,仍然不能满足不同背景、不同目的和不同时期的用户个性化的需求。个性化Web信息采集就是针对这个问题而提出来的。个性化Web信息采集的研究目标在于充分利用用户的个性化信息,通过用户兴趣制导或与用户交互等灵活手段来采集Web信息,充分利用网络信息,以更好地服务于用户的个性化需求。 围绕个性化Web信息采集系统PSearch,论文的主要工作包括以下几个方面: (1) 用户兴趣个性化信息的获取。分析了用户兴趣个性化信息的收集和更新,重点从用户需求扩展、特征选择,以及文本聚类分析三个方面来做了分析和实验。 ● 当捕获用户当前的浏览行为时,根据用户当前浏览内容的计算结果,选择那些跟用户需求关键词相似度最大的词扩展进来,从而保证了扩展词的质量。实验结果表明,通过这样的需求扩展确实获得了用户的当前个性化兴趣。 ● 隐式收集用户兴趣在本质上与文本分类中的特征选择问题相似。隐式收集用户兴趣可以借鉴文本特征选择方法来实现用户兴趣的收集。实验结果表明在用户兴趣个性化信息的获取中,信息增益方法效果较佳。 ● 如果能够对用户浏览的页面聚类,就能够得到用户具体感兴趣的主题。隐式收集用户兴趣可以借鉴文本聚类分析来实现用户兴趣的收集。实验结果表明在用户兴趣个性化信息的获取中,Bisecting K-means是一个合适的选择。 (2) 待采页面的选择。根据页面在Web上的分布特征,分析了个性化Web信息采集系统PSearch的种子URL设置、页面采集过程、已采页面与用户兴趣的相关度判定和待采URL与用户兴趣的相关度预测,提出了PSearch页面选择算法。实验结果表明PSearch页面选择算法的采集准确性要明显优于广度优先算法。 (3) 相关度的判定。借鉴了信息检索中的分类过程,实验结果表明,在PSearch的相关度判定中kNN的性能较佳。提出了PSearch页面推荐算法。较之Google返回的检索结果,PSearch推荐给用户的页面和用户的当前兴趣更相关,实现了为用户提供个性化服务的目的。 (4) 个性化Web信息采集的性能优化。分别从优雅采集、页面采集、页面刷新、分布式采集等几方面详细分析了PSearch的性能优化。在页面采集中分析了多线程、DNS缓存、持续连接、重复网页、采集器陷阱和网页的存储。
其他文献
在足球比赛中,球员大部分时间是无球跑动.因此,如何正确运用无球的跑动参与到进攻与防守当中去,既是现代足球一种技、战术水平高低的体现,也是取得最终比赛胜利的一个重要环
为了实现更加智能的安卓手机用户画像,用于辅助支持手机运营商或APP应用市场的相关数据挖掘,本文提出了根据用户的手机应用下载和使用行为来预测用户的人口统计数据,包括年龄
低成本实验即价廉、花费少的实验。低成本实验即通过简易材料的制作、使用身边随手可得的物品进行探究活动和各种实验,可以拉进地理学习和生活的距离,让学生深切感受科学的真
根据党的“十三五”规划纲要,在推进教育现代化中,对大中专院校体育规划指出新的方向。为完成“十三五”规划要求,推进商丘师范学院体育事业的快速发展,有效发挥学校体育在和谐校
在财政分权的情况下,地方社会福利受到公民"用手投票"和流动性要素所有者"用脚投票"两种机制的制约和影响。"用手投票"机制基于公民选举约束的逻辑,"用脚投票"机制基于地方政府竞争的
建设工程实施阶段是工程建设全过程中资金投放量最大的阶段,也是货币资金转化为建筑实体的最关键阶段。实施阶段的造价控制是指运用科学的造价控制理论和方法,在保证工程质量、
计算机系统性能评测与分析一直是计算机科学的一个重要分支。随着Internet的迅猛发展,人们对Web服务器的访问日益频繁,从而对Web服务器的性能也提出越来越高的要求。 本文首
随着生活质量的提高和生活节奏的加快,一种营养、方便、卫生、自然的新兴食品——鲜切果蔬,越来越受到人们的喜爱。莲藕作为一种营养丰富的水生蔬菜,在我国大部分地区广泛种植,且
鲜切蔬菜由于切分等加工,破坏了细胞原有的分室功能,使蔬菜的呼吸、褐变加剧,微生物繁殖,营养成分流失,蔬菜变得不易贮藏。本论文选取莲藕(Nelumbo Nucifera Gaerth)和红菜薹(Brasilc
普及计算强调人与计算环境的紧密联系,使计算机和网络更有效地融入人们的生活,让人们在任何时间、任何地点都能方便快捷地获得网络计算提供的各种服务。计算技术高度发展的结果