Heritrix网页抓取器的分析与扩展

来源 :第十二届全国少数民族语言文字信息处理学术研讨会 | 被引量 : 0次 | 上传用户:tai_2036580
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  本文利用Heritrix开源和组件特性,讨论藏文网页的抓取问题。首先介绍了Heritrix网络爬虫的体系架构,然后开发了网页抓取扩展的算法。
其他文献
初心凝聚力量,使命激发担当.郑州市人民公园(以下简称人民公园)本着“不忘初心,服务于民;牢记使命,园林出彩”的原则,按照“核心引领,内外驱动,提质升级”的工作思路,汇全园
期刊
  针对蒙古文网站操作系统平台和网络浏览器等多方面存在的问题,本文对现有的CMS系统进行改造,开发了支持蒙古文的内容管理系统。
本文分别对烟叶复烤厂114名接尘工人(接尘组)、61名调离粉尘作业工人(调离组)与对照工人(对照组)进行了肺功能的配对比较分析,结果表明:不论是接尘组,还是调离组,FVC、FEV_1、MMF与V_(50)等肺功能指标的实测值
  本文结合应用需求,提出了一种笔段网格汉字字形描述方法,设计了计算机汉字字形描述及对比分析工具系统,为解决语言文字研究、汉语教学中错字、古籍异体字、拼合字等特殊汉字
2019年,漯河市城市管理局深入学习贯彻习近平总书记“城市管理应该像绣花一样精细”的重要指示精神,认真落实省厅和漯河市委、市政府的各项决策部署,将“强基础转作风树形象
期刊
  本文提出了一种支持QoS评价的Web服务推荐模型,该模型的核心是吸取推荐系统的已有研究思路,在开放动态的网络环境下,根据用户确定的功能和QoS需求,基于现有的服务QoS评价指数
2019年,新乡市城市管理局积极探索创新、狠抓落实、务求实效,形成了属地管理,部门联动,双查双排,跟踪问效的工作模式.全市10041家餐饮服务单位,安装净化器商户由接管初期的58
期刊
米非司酮配伍前列腺素终止早孕三种用药方案临床比较试验向大森,张黎亚,赵淑芹,王今锦,吕怀美,张丽雯(济南市计划生育服务中心,济南,250002)米非司酮(Mifepristone)是作用于受体水平的新型抗孕酮药物,它主要
  本文采用的apache和php建立支持php的Web服务器,探讨从少数民族网站下载语料中遇到的技术问题及应对策略。
2019年,洛阳市住建局紧紧围绕推动城市建设高质量发展这一主题,积极推进智慧工地建设,加强建筑质量管理,取得了可喜成绩.全市建筑业企业获得国家奖项8个,其中,鲁班奖2项、国
期刊