互联网发展到现在,由于其开放式和共享式等特点,一方面方便快捷地给人们提供了大量的信息资源,大大方便了人们获取信息的效率。但另一方面却使网上的信息具有大量的重复性和相似性。尤其在搜索引擎中充斥着内容完全相同或内容部分相同的大量网页,藏文网页亦不例外。对开发者来说重复网页即浪费了存储资源,又占用了网络带宽,严重降低了搜索引擎的工作效率。对于用户来说,他们不希望正确的检索结果沉没在大量的重复或相似网页之中而难以被发现,从而加重用户的浏览负担。所以,高精度而快捷地消除重复网页无疑是提高搜索引擎质量和改善用户体验的关键技术之一。目前关于中文和英文来说网页消重方法不胜枚举,各种消重方法的效率和准确度也是参差不齐。但是大多数都遵循一个通用框架,即首先从给定的网页文档中选取能表示其核心内容的特征项集合,其次对该特征项集合进行降维处理,然后对降维后的数据集合进行相似度计算,最后对相似度结果进行对比判断重复程度,进而消除重复网页。由于中英文与藏文存在着差异,上述通用框架并不能直接套用于藏文网页消重。因此必须通过研究各个功能模块,设计出一个符合藏文特点的网页消重框架。本文所研究的藏文网页消重系统以上述通用框架为基础,通过查阅国内外的相关文献资料,主要对藏文网页的净化处理、网页正文分块处理、网页特征选取与权值计算、藏文信息指纹计算、相似度计算及消重处理等相关技术进行了深入的分析和研究。并且,在藏文信息指纹计算模块通过三种算法的对比来采取最好的方案。网页净化模块则通过在原算法上进行改进,添加位置标记功能来实现对藏文网页主题句的提取。对特征权值计算模块进行改进,实现位置权重的计算。消重处理模块在原有的基础上增添信息指纹聚类保存、分类匹配的功能来提升系统的整体效率。最后,通过各个模块的实验来证明本藏文网页消重系统功能结构的实用性。用大规模的网页对本系统进行整体测试,得出了93.8%的查全率、97.7%的查准率和0.957的F值。