中文分词技术对中文搜索引擎的查准率及查全率的影响

来源 :计算机光盘软件与应用 | 被引量 : 0次 | 上传用户:qunimad41197579
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:随着我国科学技术的进步,网络信息化的快速发展,搜索引擎成为了人们查找数据的最主要工具。在搜索引擎中,为了提高用户查找所需要数据信息的准确性和全面性,可以使用中文分词技术,中文分词技术在中文搜索引擎中占据了重要的地位。用户在使用中文分词技术对中文搜索引擎的查准率及查全率有着深刻的影响。
  关键词:搜索引擎;中文分词技术;查准率;查全率;深刻影响
  中图分类号:TP391.3文献标识码:A文章编号:1007-9599 (2013) 06-0000-02
  随着网络信息化的飞速发展,搜索引擎成为了人们的主要查找信息数据的工具后,科技人员为了让人们查找信息能够更加方便,便积极研究新的技术。在中文分词技术得到发展后,它能够推动中文搜索引擎的发展,也极大的方便了人们的生活方式和节省了人们搜索信息所需要的时间。中文分词技术的应用方法会对搜索引擎造成怎样的影响,是需要专业的技术人员能够更好的分析,尤其是中文搜索引擎的查准率与查全率。
  1中文分词技术的应用方法
  1.1在中文分词技术的应用当中可以使用字符串匹配的方法。字符串匹配是将待切分的字串与涵盖内容全面的词条使用一定的策略进行匹配。如果在一个词典中,没有找到其中一个字符串,就表示着匹配不成功,不能够进行切分。而在经常使用中文分词技术中人们常用正向最大匹配法以及逆向最大匹配法进行字符串匹配。但是运用这两种方法在搜索引擎中有一定的优势与局限性。
  1.2、理解的中文分词方法是通过计算机对中文句子结构进行自动分词的过程。在一个中文句子中,计算机利用中文中的词组、语义等等来对这个句子进行分析评价,然后找出与原句意思最接近的句子。理解中文分词方法在搜索引擎中并没有得到实际的应用,它需要巨大的工作量,对一个句子的理解力也是及其复杂的,所以,它在搜索引擎中得到应用还需要进一步的研究与验证。
  1.3利用统计的中文分词方法是根据在搜索引擎系统中,分词中的词组出现的次数进行统计,然后根据次数来决定该字符串是否能够成为一个词组。在使用统计的中文分词方法时,是不需要对中文进行理解以及切分词典,只需要对分词所出现的次数进行统计,然后,我们也可以称这种方法为无词典分词方法圈。同时,统计中文分词法也可以对字符串相邻的字符出现的次数进行一定的统计分析,然后确定这些相邻字符的关系,然后确定它们是否可以组成词组。
  2中文搜索引擎的查准率及查全率的缺点
  2.1在中文搜索引擎当中,查准率与查全率有着一定的局限性,这就需要我们要对此有着一个准确的认识。在查全率当中,对相关的信息量和全部的相关信息量进行对比。但是,在搜索引擎的系统当中所包含的信息量是巨大的并且人们是不可获知的,只能对这些相关的信息量进行大致的估计;还有的就是查全率由于一定的不确定性,导致有许多假设的可能出现,而这些假设的出现,认为搜索出来的信息与用户所需要的信息是具备着相同的价值,而这种假设的认为恰恰是不正确的,用户永远就是认为信息的相关程度越高对自己的用处也是越高的。
  即使是在一些发达的国家,拥有着比我国更高的技术水平,也会有一些网页不能让搜索引擎很好的检索出来。作为发展中国家,我国的大部分网站都是由网络管理者提供浏览方式显示内容,虽然有些网站经过设计者科学合理的组织和安排,但是还有百分之七十到百分之八十不能让搜索引擎检索出来。
  我国所具备的引擎技术不管是在网络信息化上还是在应用的环节上都存在着一定的缺陷性,没有统一规范的管理措施以及技术水平。另外,搜索引擎在进行检索时,因为检索体系不能很好的相互配合,导致,用户在进行检索时会遇到一定的操作障碍。
  2.2在中文搜索引擎当中,查准率也是具备着一定的局限性。用户在搜索所需要的信息时,要进行题录式搜索,而题录式的内容是非常简单的,用户在看见自己所检索的信息时是不能很好的判断与自己所需要的信息是否有着密切的联系;这样,用户就得找出搜索出来信息的全文,才能保证是否只自己所需要的信息,而这就浪费了用户的大部分时间。同样,查准率在搜索出来的相关信息当中也具有着与查全率一样的假设可能的局限性。
  有些搜索引擎没有对信息进行相关的统计和分类,导致系统内的信息都混乱不清,各个信息之间的逻辑性没有进行一定的明确分析;搜索引擎中没有科学知识体系进行一定的联系与沟通,通常都会造成搜索引擎与检索的信息出现错误。在搜索引擎当中,由于没有适当的检索词,导致检索的查准率降低。
  3中文分词技术对中文搜索引擎的查准率及查全率的影响
  3.1中文分词技术的准确性对搜索引擎的影响是十分重大的。在搜索引擎当中,如果由于中文分词的速度太慢,即使分词的准确性再高,都是不可用的,对检索的查准率会产生一定的影响。搜索引擎当中,都需要处理数以万计的网页,如果在中文分词中耗用过长的时间,然后会影响搜索引擎中不断更新内容的速度,这时,就会严重影响到检索的查全率。
  3.2在搜索引擎当中,利用理解的分词方法,需要大量的语言知识和信息。然而,一直由于中文的语言知识一直是比较复杂的,每个词都有好几种意识,基于理解的分词方法难以将各种的语言组织成一定的词组,导致中文分词技术对搜索引擎的查准率有一定的局限作用。
  3.3基于字符串的中文分词方法在搜索引擎当中有着一定的优点,能够在一定的程度上促进检索的查全率。但是由于在对字符进行匹配时,由于中文语言的复杂性,会在一定程度上限制了用户所需要信息的准确性,这时对检索的查准率产生了一定的阻碍。
  3.4中文分词技术中,利用统计的分词方法,将词组在搜索引擎中出现的次数进行统计,然后可以出现新的词组,然后对分词进行切分,利用它们的语言特征进行统计,从而,能够提高搜索引擎中检索的查准率。
  3.5中文分词的各种技术都会对搜索引擎产生或大或小或优或劣的影响。这就需要科研人员以及相关的技术人员对中文分词进行一定的分析,将那些不好的影响运用相关的技术加以改善,让中文分词技术在搜索引擎中发挥出最大的良好的影响。虽然,依照我国目前的现状看来,中文分词技术没有很好的研究队伍,让这项技术服务于更多的产品还有很长的路走,但是,现代的分词技术对搜索引擎中的查准率还有查全率都有着一定的促进作用。
  4总结
  在网络信息化高速发展的时代,给人们的生活方式、生产方式带来了极大的方便。尤其是中文分词技术在搜索引擎中的应用,不仅提高了人们的生活水平,也推动了信息化的发展。在搜索引擎当中,查准率与查全率只能存其一,不能够同时存在。在利用中文分析技术后,对搜索引擎的查全率与查准率有着一定的推动作用,这就需要研究人员要全面的发展中文分词技术,改善搜索引擎中出现的问题,保证查全率与查准率能够同时出现,全面发展。
  参考文献:
  [1]曹羽中,曹勇刚,金茂忠,刘超.支持智能中文分词的互联网搜索引擎的构建[J].计算机工程与设计,2006,27(23):36-39.
  [2]何莘,王琬芜.自然语言检索中的中文分词技术研究进展及应用[J].情报科学,2008,26(05):03-05.
  [3]郑京华.提高搜索引擎检索准确率的策略[J].科技情报开发与经济,2007,21(17):67-69.
  [作者简介]冯佳捷(1990.8-),男,河北省石家庄人,研究方向:计算机算法应用,工程实践;单位:华中师范大学 软件工程 2010级;王瑞(1991.1-),男,重庆市人,研究方向:计算机网络安全,华中师范大学 软件工程 2010级。
  
  
其他文献
【摘 要】新课程理念下微课教学的优势日益凸显。微课短小精悍,形式灵活,重点突出。因此,在微课教学是课堂教学的有益延伸和补充。在高中化学教学中,传统的教学方式无法满足学生的求知欲望,运用微课教学则可以最大限度的培养学生的化学思维能力,解决化学教学中的重点难点。本文作者在化学实验、知识内容、教学模式三方面探讨了微课教学的意义。  【关键词】高中化学;微课教学;教学模式  【中图分类号】G633.8 【
由于我国高等教育的规模不断扩张,以及其入学收费制度的改变,越来越多的学生因为家庭经济的原因而失去入学机会或者难以继续完成学业,有失我国高等教育的公平性。学生资助政
【摘 要】伴随着教育改革的不断深入,将课堂教学与生活化相结合是各学科共同努力的方向,高中地理实用性强,更是需要与生活紧密相连,本文就地理教学中地理知识点如何生活化教学进行分析。  【关键词】高中地理;生活化;教学  【中图分类号】G633.55 【文献标识码】A  【文章编号】2095-3089(2019)10-0089-01  地理学科是高中重要学科组成之一,也是高考重点难点所在。近年来随着新课
【摘 要】初中阶段体育教学,不仅是学生的身体成长阶段,也是学生心理成长的重要阶段。在当前的初中体育教学中,培养学生的集体意识,引导学生养成扎实的体育技能和合作探究的体育学习意识,全面促成学生的身心健康发展,为未来成长奠定更为坚实的基础。  【关键词】初中阶段;体育教学;成长  【中图分类号】G807 【文献标识码】A  【文章编号】2095-3089(2019)06-0132-01  一、集体意识
作者从理论和实践角度的CBE教学理念将渗透教学大学计算机设计的必要性,构建和整合学校的计算机教学方法使教学设计改革的实践案例研究和成就。这一改革大学计算机教学与实践
摘 要:针对遗传算法在运算过程中产生的早熟问题,提出一种自适应动态优化策略(SAOGO),用以自动生成测试数据。通过优化变异概率等手段,实现了路径测试数据的自动生成。将Triangle(三角形判别问题)作为被检测程序进行性能测试,实验结果表明,基于该策略的测试数据自动生成系统能自动调整变异概率和保持优秀个体,有效的解决了早熟问题,同时也提高了自动生成测试数据的效率。  关键词:软件测试;路径测试数
据西北五省区制定的规划或计划,到2010年将累计退耕400×10^4hm^2,约占现有耕地面积的1/4。按照目前的单产水平和粮食作物比例,西北地区将减少粮食产量近400×10^4t,相当
激发学生体育锻炼的兴趣,培养学生终身锻炼的习惯,是提高学生体育成绩的重要因素。兴趣是做一切事情的动力,影响农村中学生体育兴趣的因素很多,本文从客观事实和一些普遍农村
微信是新时期的一个重要的交流媒介,成为人们沟通交流最便捷的方式之一。所以在七年级新生注册时,班主任为了加强和家长的联系,由班主任建立班级微信家长群,让家长相互拉入群
【摘 要】有效的课堂不仅是学生学习知识提高的地方,更是学生培养心智、形成高尚道德情操、树立正确的人生观、世界观的平台。作为一名新时期的高中历史教师,只有深刻领会新课改的意义及教学理念,在平常的教学中不断实践和反思、大胆探索、灵活教学、追求不断创新,才能真正提高高中历史的教学有效性。  【关键词】高中历史;课堂教学;教学有效性  【中图分类号】G633.51 【文献标识码】A  【文章编号】2095